yoshitake-hのブログ

カノニカル分布

math

状態の集合を I とし，状態 $i\in I$ の確率を $p_i>0$ とする．

状態 i を特定するのに必要な Yes/No で答える質問の回数は，
$\log_2 \frac{1}{p_i}=-\,\frac{\log p_i}{\log 2}.$

分布 $(p_i)_{i\in I}$ に対して，状態を特定するのに必要な質問の回数の平均は，
$\sum_{i\in I} p_i\log_2 \frac{1}{p_i}=-\,\frac{1}{\log 2}\sum_{i\in I}p_i\log p_i.$

$k>0$ に対し，
$S=-k\sum_{i\in I}p_i\log p_i$
を エントロピー という．以下， $k=1$ とする．

$N=|I|$ とおくと，
$S-\log(N)= \sum_{i\in I}p_i\log \frac{1}{p_iN} \le \sum_{i\in I}p_i(\frac{1}{p_iN}-1)=1-1=0.$
$\therefore \quad S\le \log(N).$

熱力学第２法則 分布が時間とともに変化するとき，エントロピーは増大する．

状態 i のエネルギーを $E_i$ とする．

確率の保存とエネルギー保存則
$\sum_{i\in I}p_i=1,\quad \sum_{i\in I}p_iE_i=U$
をみたしながら分布が時間とともに変化するとき，エントロピーは増大し， $t\to \infty$ で収束する．

確率の保存とエネルギー保存則
$\sum_{i\in I}p_i=1,\quad \sum_{i\in I}p_iE_i=U$
の下でエントロピーを最大にする分布を カノニカル分布 という．

Lagrange の未定乗数法を用いる．
$\widetilde{S}=S-\lambda (\sum_{i\in I}p_i-1)-\beta (\sum_{i\in I}p_iE_i-U)$
とおき，
$\frac{\partial \widetilde{S} }{\partial p_i}= -\log p_i-1-\lambda -\beta E_i=0$
を課すと，
$p_i=\mathrm{e}^{-1-\lambda-\beta E_i}.$

$Z=\mathrm{e}^{1+\lambda}$ とおくと，
$p_i=\frac{1}Z \mathrm{e}^{-\beta E_i},\quad Z=\sum_{i\in I}\mathrm{e}^{-\beta E_i}.$

Z を 分配関数 という．

分配関数 Z で表すと，エントロピー S と全エネルギー U は，
$S=\frac{1}Z \sum_{i\in I}\mathrm{e}^{-\beta E_i} (\beta E_i+\log Z)=\beta U+\log Z,$
$U=\frac{1}Z \sum_{i\in I}\mathrm{e}^{-\beta E_i}E_i=-\frac{\partial}{\partial \beta}\log Z.$

$T=\beta^{-1}$ を温度といい，
$F=U-TS=-\beta^{-1}\log Z=-\beta^{-1}(1+\lambda).$
を 自由エネルギー という．

温度はエネルギー保存則に対する Lagrange 乗数の逆数であり，自由エネルギー/温度は本質的に確率の保存に対する Lagrange 乗数である．