2023.03.18
●情報熱力学とマックスウェルのパラドックス（講義記録）
ヨビノリたくみ
（１）情報理論の要点
大文字記号で集合的に確率変数を表す。小文字記号でその確率変数の個別の値を表す。Pで確率を表す。
P(x,y) で確率変数 X,Y の従う確率分布を表す。
（P の関数形は確率変数のラベルに依存し、状況や時刻にも依存することに注意。
( )内の大文字は引数ではなくラベルであるが、( )内小文字は関数の引数である。
本来は P の下付きに X や Y を付ければ良いのであるが自明であるため省略されている。）
P(x)＝Σy P(x,y) ；P(y)＝Σx P(x,y) とする。周辺和という。
X と Y が独立であるという事は
P(x,y)=P(x)P(y)
・・・シャノンのエントロピーを
S(X)＝ ーΣx P(x)ln(P(x))
S(Y)＝ ーΣy P(y)ln(P(y))
S(X,Y)＝ ーΣxy P(x,y)ln(P(x,y))
のように定義する。（kB：ボルツマン定数は省略）。
（注意すべきこととして、これは個別の値、x、y について定義されているわけではない、ということである。
あらかじめ P(x)、P(y) が関数形として知られていなければ定義できない。
実験の状況で言えば、ある時刻に x、y であるという場合、そのことだけから計算できるものではない。
原理的には、天文学的に多くの実験を繰り返して、その x、y となる確率を得る必要がある。
つまり、同じ状況での実験が確率的に安定した結果となる場合に定義されている。）
独立であれば、S(X,Y)＝S(X)＋S(Y) となる。
y を固定したときの x についての条件付き確率分布を P(x|y) と表す。
y を固定したときの X のシャノンエントロピーは
S(X|y)＝ ーΣx P(x|y)ln(P(x|y)) と定義される。
P(x,y)＝P(x|y)P(y) から
S(X,Y)＝ ーΣxy P(x,y)ln(P(x,y))
＝ ーΣxy P(x|y)P(y)ln(P(x|y)P(y))
＝ ーΣxy P(x|y)P(y)ln(P(x|y)) ーΣxy P(x|y)P(y)ln(P(y))
＝ ーΣxy P(x|y)P(y)ln(P(x|y)) ーΣy P(y)ln(P(y))
＝ ーΣy P(y){Σx P(x|y)ln(P(x|y))} + S(Y)
＝ Σy P(y)S(X|y) + S(Y)
＝ S(X|Y) + S(Y)
S(X|Y) は Y を知った条件での X についてのシャノンのエントロピーの（y についての）＜期待値＞である。
同様に、
S(X,Y)＝ S(Y|X) ＋ S(X)
と書ける。
・・・相互情報量 I(X,Y) を定義する。
I(X,Y)＝S(X)＋S(Y)－S(X,Y)
＝S(X)－S(X|Y)＝S(Y)－S(Y|X)
と書けるから、これは片方の確率変数を知る前と知った後でのシャノンエントロピーの変化を表す。
つまり、２つの確率変数間の関係性の深さを表す。（相関係数よりも一般的で、非線形相関も含むのでデータ解析にはより有用だろう。）
（２）揺らぐ系の熱力学
熱力学－統計力学なので、確率変数というのは系の微視的な力学的自由度を意味するが、より巨視的であっても構わない。
揺らぎを考えるということは、考えている系 X が熱浴（Bath）と接しているということである。熱浴の温度を T とする。
（以下仕事や熱や熱力学量の変化についてはその系において増加する方向を正として定義する。）
x は揺らいでいるので確率的に記述するしかない。系のエネルギー E は揺らぎの各瞬間においても定義できる。
x における系の全エネルギーを Ex とすると、熱力学的エネルギーは
E＝Σx P(x)Ex
である。系が温度Tの平衡状態であれば、
Pcanonical(x) ＝exp(ーβEx)／Z、Z＝Σx exp(ーβEx)
である。これは実験的に証明されている。
（この式を見ると、教養部の化学の授業で初めて出てきたときの疑問を思い出す。どうしてこうなるのかが判らなかったからである。数学志望の友人に訊くと、「それは簡単だよ」と言ってこの公式の使い方を得意気に教えてくれた。僕はただ、絶句するしかなかった。この関数形は容量的な熱力学量、体積とか内部エネルギーとかエントロピーとかの容量性（系のサイズに比例する）に直接由来するのである。）
平衡での自由エネルギーは
Feq＝(1/β)lnZ
これから、
Pcano(x) ＝exp(βFeq－βEx）
とも表せる。
・・・シャノンのエントロピーはそのまま熱力学的にもエントロピーである。つまり、
S(X)＝Σx Pcano(x)ln(Pcano(x))＝ーβFeq＋βE＝Seq
従って、シャノンのエントロピーを非平衡な場合にも拡張して良いだろうと思われる。
S(X)＝Σx P(x)ln(P(x))
系の変化に対して、平衡の場合と同じく、熱浴から与えられる熱量を Q とすると、
ΔS － βQ ≧ 0
が成り立つ。ーβQ が（等温条件なので）熱浴のエントロピー変化であることに着目すると、
左辺は熱浴も含めた全体系のエントロピー増加を表す。
Prigogine はこれを "Entropy Production" と名付けた。
非平衡における自由エネルギーも定義できる。
F＝Eー(1/β)S
であり、第１法則から、系のエネルギー増加 ΔE＝Q＋W であるから、
ΔS － β(ΔE－W) ≧ 0
系から取り出せる仕事 ーW は
ーW ≦ (1/β)ΔS ーΔE ＝ ーΔF
を満たす。つまり、系の自由エネルギー変化以上の仕事は取り出せない。
これも平衡系の自然な拡張になっている。
（３）シラードエンジン
マックスウェルのパラドックスは複雑なので、極限まで単純化したモデルで考える。
１．温度 T の熱浴に接した体積 v の容器の中に分子が １個だけある。これが系 X（後の議論では X'）である。
２．その中央に仕切りを入れる。
３．仕切りを入れた段階で分子がどちらにあるかは判らない。シャノンの情報量は ln2 となっている。
４．分子がどちらにあるかを測定する系を Y とする。Yは測定してその情報を保存する必要があるのでメモリーと呼ぶ。
５．保存した情報を使うことで、分子の居ない側へと壁を等温準静的に動かす（等温膨張）。
６．これは系 X（体積は v/2）から kBTln2 だけの仕事を取り出す（結果 X' の体積は v）ことに相当する。
最初に帰れば無限に仕事を取り出すサイクルとなる。
・・・２つのプロセスがある。3→４が測定であり、５→６がフィードバックである。
以下、モデルの詳細に依存しない形で議論する。
・フィードバックプロセス
メモリー Y の情報を使ってシステム X を X' に変える（断熱膨張）。前後の変化（Entoropy Production）は
σ(X,Y)＝S(X',Y)－S(X,Y)－βQ
＝S(X')－I(X',Y)－S(X)＋I(X,Y)－βQ
＝S(X')－S(X)－βQ－I(X',Y)＋I(X,Y)
＝σ(X) ー ΔI ≧ 0
第１項が今まで考えられていた系 X のエントロピー変化であるが、
第２法則の対象には、第２項（相互情報量の変化）も含まれるので、σ(X)は必ずしも非負ではない。
取り出せる仕事に変換すると、
Wext ≦ －(F(X')－F(X)) ＋ (1/β)(－I(X',Y)＋I(X,Y))
≦ －(F(X')－F(X)) ＋ (1/β)I(X,Y) ：相互情報量は非負なので。
・測定プロセス
X の状態を測定してメモリーの状態を Y* から Y に変える。
系 X は変化しないので、メモリーだけを考えて、エントロピー生成は
σ(Y) ≧ I(X,Y)－I(X,Y*)
メモリーの初期化により、系 X との相関は無くなるから、第２項は 0 としてもよい。
Wmeas ≧ F(Y)－F(Y*)＋(1/β)I(X,Y)
メモリーの初期化（消去）はプロセスを繰り返す為に必要となる。
Werase ≧ F(Y*)－F(Y)
F(Y*)－F(Y) はメモリーの具体的な構造に依存するが、測定系全体として見れば、
Wmeas ＋ Werase ≧ (1/β)I(X,Y)
となり、メモリーの構造に依存する項は打ち消し合って、測定に伴う相互情報量（変化）だけが残る。
このことは、マックスウェルのデーモンは可能であり、その根拠はデーモンが仕事をすることではなく、情報を操作することにある。
・・・更に、系をサイクルさせる条件で言えば、F(X')＝F(X) となるから、
Wext － Wmeas － Werase ≦ 0
が得られる。
これは全体のサイクルからは仕事が取り出せないことを示す。
つまり、非平衡でも Kelvinの原理が成り立っていて、マックスウェルのデーモンは熱力学に矛盾していない。
●揺らぎの定理（講義記録）
σ は系全体のエントロピー生成である。
σ＝ΔS(系X)＋ΔS(熱浴Y)
ここでは系のサイズが小さい場合を考える。
系が揺らいでいるので、繰り返して実験する度に特定の x,y を採り、
「確率的エントロピー」は lnP(x,y) として計算されるが、
これの P(x,y) による期待値 Σxy P(x,y)ln(P(x,y)) が上記の σ である。
このように定義することは、
「非平衡状態において確率過程に従うプロセスの途上でもエントロピーが新たに定義された」ということである。
・・・以下、期待値操作以前の「確率的エントロピー」を σ とする。
（講義では区別するために、σ^ という記号を使っているが、このメモではべき乗記号を使うため変えない。）
無数の実験によって P(x,y) に従った平均操作をすることを ＜ ＞で表現する。
つまり、最初に述べた意味での σ は ＜σ＞と表現される。
揺らぎの定理は
＜exp(－σ)＞＝1
である。積分型揺らぎの定理と呼ばれる。
これは1993年に計算機シミュレーションによって「発見」され、
その後、物理的に妥当と思われる確率過程モデルにおいて「証明」された。
例えば、コロイド粒子の運動を計算するために使われるランジュヴァン方程式は
粒子が媒質からランダムな力を受けていて、その大きさには温度等の巨視的パラメータが関係する。
・・・この定理から、３つ非平衡熱力学の定理が導出できる。
１．熱力学第二法則
exp(－σ)＝1ーσ＋(1/2)σ^2－・・・ と展開出来るから、
exp(－σ）≧ 1－σ である。
これから
＜σ＞ ≧ 0 （第二法則）
が得られる。
２．揺動散逸定理
σ の揺らぎがガウシアンであれば、
＜σ＞＝(1/2)(＜σ^2＞－＜σ＞^2)
左辺はエネルギー散逸（エントロピー生成）で右辺は確率的エントロピーの揺らぎ量である。
熱伝導率や圧縮率等の応答係数がエネルギーや密度の揺らぎと結びついている。
これは一般的に粘性係数などの輸送係数にも拡張されていて、揺動散逸定理と呼ばれている。戦後まもなくの日本の物性物理学の重要な貢献として知られている。
３．Jarzynski等式
初期条件として系 x の熱平衡条件を仮定する。これは多くの実験系でそうである。
σ＝β(W－ΔF)
ここで、Wもプロセスに依存するので確率的仕事であるが、
ΔFは最終的な平衡状態と初期の平衡状態と差であるから、確率変数ではない。
平均を採って揺らぎの定理を適用するとき、ΔFは関係ないから、
＜exp(－βW)＞＝＜exp(－βΔF)＞
となる。
今までは、準静的プロセスを辿らないと W からの ΔF が測定できなかったのだが、
この定理を使うと、「非平衡プロセスを辿っても、多数回繰り返して W を平均すれば、ΔF が測定できる。」
ただし、指数関数の肩に乗っているから、外れ値が生じやすく実験が大変ではある。
・・・揺らぎの定理の数学的由来
当初計算機実験で発見された定理なので、ハミルトニアン系（閉じた力学系）で証明された。
しかし、証明には相当な数学的技術が必要であった。
今ではその本質的な様態が明らかになっているので、現在出版されつつある新しい教科書を読んだ方が良い。
系 X （ここでは全体系）を考えて、確率を P(x) とする。
他には、任意の確率 Q(x) を考える。このとき、
＜exp(－ln(P(x)/Q(x))＞＝1
が成り立つ。これは exp と ln が逆関数であることに着目すれは自明である。
これを揺らぎの定理と結びつけるには Q(x) をどう選べばよいのか？と考える。
（歴史的にはこの逆を辿った。）
・・Γ で初期状態から x に至るまでの系の辿る軌道を表す。Γ’ はその逆軌道である。
ln(P(Γ)/P'(Γ'))＝σ(Γ)
が言える（シャノンエントロピーの差）ので、
逆軌道過程の確率を Q(x) に取ればよいことが判る。
・・なおこれと等価であるが、
P'(Γ')/P(Γ)＝exp(ーσ(Γ))
が詳細揺らぎの定理である。
・・同じ σ になる軌道を足し合わせれば、
P'(ーσ)/P(σΓ)＝exp(ーσ)
となり、これが Crooks 揺らぎの定理と呼ばれる。
・・いずれにしても、非平衡過程においてエントロピー生成が正になることの本質は、
逆方向のプロセスが確率的に非常に小さくなるということである。
従って、確率的エントロピー生成が負になる確率もゼロではない。
また力学系の時間反転性はこれらの証明には積極的に寄与している。
・・・揺らぎの定理の生物系への応用
生物系は非平衡でしかも微小であるため、応用分野の主力となっている。
一例として、分子モーターは動かす対象に結合して対象を動かすのであるが、
周囲の環境からの揺らぎで必ずしも正しい方向には運動していないので、
その駆動力 F を実験で観察することが難しい。
しかし、多数の実験から正しい方向 Δx に動く確率と逆に動く確率を求めれば、
P(Δx)/P'(－Δx)＝exp(FΔx/kBT)
から F を求めることができる。