第四章 情報エントロピーの力
2つのエントロピー、情報と熱統計
2006/08/24  

前節で見てきたように”情報エントロピー”と”熱統計エントロピー”はもともと全く異なった分野で生まれたものだ。 それにもかかわらずなぜ両方とも同じ”エントロピー”という名前で呼ばれているのだろうか。 最も保守的な答は「2つのエントロピーは本来別のもので、単に数式の形が似ているから」である。 最も急進的な答は「2つのエントロピーは本質的に同じもの」ということだ。 本論では、後者の急進派の立場をとる。 (ただし、前節に触れたように、明らかに人為的に定めたラベル的なものは除外する。) ここで立場云々を論ずる前に、まず2つのエントロピー、情報と熱統計のどこが似ているのかを見ることにしよう。

情報エントロピーと熱統計エントロピー、この2つはまず同じ形の数式で表現される。

熱統計エントロピ− S =k*ln(W)
情報エントロピ−  S =P*Log[2](1/P)
ここでWは体系の取り得る場合の数、Pは事象の起こる確率であった。 要するにどちらのエントロピ−も”場合の数の対数”ということである。 この”対数”という関係がどこから出てきたのか思い起こしてみよう。
まずは熱統計エントロピ−の方から。 本論で対数が登場したのは、気体の等温膨張からであった。(1章−9節) 膨張する気体から仕事を取り出そうとしたとき、得られる仕事の総量Eは気体分子の飛び回れる範囲W(体積V)の対数に比例するということだった。 膨張する気体というのは特殊な一例だが、ここで得られた結論は一般に適応できる。 熱を仕事に変換するには必ず、分子の状態が限られた範囲からより広範囲に広がるという過程が伴う。 得られる仕事と広がった範囲の間には(仕事)=Log(範囲)の関係が成り立つ。
一方情報エントロピ−の方は、場合の数をビット数で表わすと (ビット数)= Log(場合の数)となっていた。 ビットの意味は、場合の数を1、0で表現するのに必要な数字の数(桁数)のことである。 このように情報エントロピーを定義したのは、場合の数をそのまま数えるよりも対数をとった方が計算に便利ということであった。 総じてエントロピ−とは”対象の取り得る場合の数”のことである。 この定義は熱統計、情報のどちらにもあてはまる。 それゆえどちらも同一の”エントロピ−”という言葉で呼んでいるのである。 しかし、何の場合の数を問題にするかで熱統計と情報の間に違いが出てくることになる。

ここで熱統計エントロピ−でいうところの”体系の取り得る場合の数W”をとりあげてみよう。 すでに登場した”気体分子の配置方法”は”場合の数W”の具体例である。 分子同志の並び方、つながり方といったものも”場合の数W”として数えられる。 それでは、対象となる物体の形状は”場合の数W”として認められるだろうか。 丸い風船に入った気体と四角い箱に入った気体では、明らかに異なる状態下にあるといえる。 放っておいても丸が四角にはなならい。 銅の一片も、丸くて特別な表記が成されているものに10円の価値がある訳で、たたきつぶしてのべ板にしたらずっと価値が下がってしまう。 人間の目から見れば最優先すべき”形”なのだが、残念ながら熱統計力学の見方では”形”の違いを異なる状態としては扱わない。 どうして体積の違いは問題にするのに形の違いは切り捨てられるのだろうか。 形は数字にならないから?そうではない。 鍵となるのは”エネルギ−”だ。 体積が同一であれば、丸い入れ物を四角に変形するのには(上手に行なえば)ほとんどエネルギ−を要しない。 10円玉をのべ板に直すのだって、長い時間かけてじわじわやればわずかのエネルギ−でできることだ。 ところが、気体の体積を小さく圧縮するには、どんなに上手に行なっても必ずある量のエネルギ−が必要となる。 エントロピ−の最初の定義を思い出そう。 熱統計エントロピ−とは(出入りしたエネルギ−/温度)であった。 熱統計で取り上げる「場合の数W」とは、「場合の数の変化が直接エネルギ−の出入りとなって現われるもの」に限られるのである。

これと較べて、銅片が10円玉であるかのべ板かの違いは、エネルギ−の違いではなく、銅片を手に取った人間が受け取る情報の違いであるといえる。 この違いは情報エントロピ−として扱うことはできるが、熱統計とは関係ない。 情報とは人間の認知するもの全てであるから、人間が異なる状態として数え上げられるものならば何でも情報エントロピ−として扱うことができる。 よく引き合いに出される”書斎のエントロピ−〜部屋が散らかっているほどエントロピ−が大きい”というのは、あえて言うなら情報エントロピ−が大きいのだと解釈できる。 熱統計エントロピ−として定義できる量であれば、それを情報エントロピ−として扱うことはほとんどの場合、可能であろう。 例えば圧縮した気体を1、膨張した気体を0と見なした記憶素子があっても構わない。 ”情報”というのは単なる約束事だから、物理的な対象は非常に広範囲である。 反対に情報エントロピ−として定義された量は熱統計エントロピ−になるとは限らない。

  

以上で私は、熱統計エントロピ−と情報エントロピ−はきちんと分けて考えるべきだと述べた。 分子の動き回る範囲を変化させるにはエネルギ−が要るから熱統計。 分子同志、あるいは原子同志の配列を変えるのにもエネルギ−がからむので熱統計。 物体がどんな形をしているかということはエネルギ−と無関係なので情報。 (ただし、ばねのように物体の変形にエネルギ−が要るのなら熱統計の対象になり得る。) 配列を変えてもエネルギ−が変化しないもの、トランプの札や福引の玉は情報である。 本棚の同じ高さにある本が整然と並んでいるかぐちゃぐちゃかの違いは情報エントロピ−として表わすことができる。 では、異なる高さの棚にある本を移動したら、これはエネルギ−を要するので熱統計エントロピ−といえるだろうか。 変わった例だがその通りで、高さの違いは熱統計エントロピ−として扱うことができる。 重力場の中で分子がどのように分布するかを調べるのは統計力学の課題である。 本のように超巨大な分子?は下にたまるというあたりまえの結論が下される。 ここで話を打ち切れば、熱統計エントロピ−と情報エントロピ−の間にはきちんとした境界線が引ける(熱統計は情報に含まれる)ということで一件落着なのだが、実はこの境界線を破るケ−スが考えられるのである。 次に、”熱統計と情報の境界線を破るケ−ス”を説明しよう。

前に[1章−10節]でこんなことを述べた。 「熱と仕事の違いとは、つきつめれば観測者が分子の運動を知っているか知らないかの違いである。次に来る分子の運動が予測可能なら利用できるからこれは仕事だし、予測不可能なら利用できないのでこれは熱である。」 熱統計エントロピーの値は、観測者の持てる知識によって変わってしまうといったやっかいな問題をはらんでいるのである。 いまここに気体〜熱運動する分子の一群があったとしよう。 そして、この気体を見る2人の観測者A、Bがいて、Aは分子運動の全てを知っており、Bは何も知らなかったとしよう。 このとき同一の気体でありながらAにとっては熱統計エントロピ−0で、Bにとってはしかるべき値をとることになる。 エントロピ−とは、そもそも”場合の数の対数”であった。 ということは、場合の数が何通りと数える主体によってエントロピ−の値は異なってしかるべきなのではないか。 ただ気体の場合、分子運動の一つ一つを知っているAのような超人はいないだろうということで客観的な値を決めているに過ぎない。 (例えば同じ種類の気体、酸素と酸素を混合してもエントロピ−は変化しないが、同位体を区別して酸素16と酸素18の混合ならエントロピ−は増えることになる。 つまり、見方によってエントロピーの値は変わってしまうのである。)

問題をもう少し明確にするため、Aほどの超人に代わって、こまめに記録をとることができるA’に登場してもらう。 A’は、まず分子運動を観測して結果をノ−トに記録する。 そしてA’はこの記録をもとにして分子運動から仕事を取り出すことができるものとする。 もしノ−トをなくしてしまったら仕事を取り出すことはできない。 ここで問題、ノ−トの上に書かれた文字列は、熱統計的な意味を持たない単なる記号の羅列なのだろうか、それとも熱統計エントロピ−が定義できる対象なのだろうか。 当初の考え方からすると、文字の並び方が変わったところでノ−ト自身のエネルギ−が変化するのではないから、この文字列には情報エントロピ−は定義できても熱統計とは無関係ということになるだろう。 しかしA’にとってみれば、ノ−ト上の文字列と分子の状態とは同等の意味を持っている。 分子運動を記録したノ−ト、これが”熱統計と情報の境界線を破るケ−ス”なのである。 ここで、A’は人間ではなくコンピュータであり、ノートとはコンピュータのメモリーのことだすれば、熱統計エントロピーと情報の関係がより明確になるであろう。 第3章で見てきた様に、コンピュータのメモリーの状態には、情報エントロピーだけでなく、熱統計エントロピーも定義できるのである。

A’のノートの問題について、私は次の様に考えている。
「ノ−ト上の文字列は、第三者にとっては単なる記号の羅列に過ぎないが、観測者A’にとっては熱統計エントロピ−が定義できる。」
エントロピ−とは場合の数のことではあるが、場合の数がエネルギ−の出入りと関係があるときにしか熱統計エントロピ−は定義されない。 この意味で、原則としてノ−トに記録された文字列とか、脳やメモリーに蓄えられた知識には(情報エントロピ−は定義できても)熱統計エントロピ−は定義されない。 ところが、もともとエネルギ−の出入りと無関係だった場合の数であっても、適当な機構(人間、機械、etc)によってエネルギ−の出入りと結び付くことがある。 エネルギ−の出入りに関連付けられた場合の数であれば、間接的ではあっても熱統計エントロピ−が定義できる。 エネルギ−と結び付いた機構(観測装置+取り出し装置の部分)がなくなれば、熱統計エントロピ−の意味も失われる。

普通に考えれば「ノートに書かれた文字列」に熱統計的な意味は無い。 なぜならノートの内容と、エネルギー(ノートを燃やしたときに得られる熱量)の間に何の関係もないからである。 ところが、このノートを使ってエネルギーを取り出すことのできる機構、A’のような人間とか、適当な取り出し装置、などがあると事情は変わってくる。 こういった装置があると、ノートの内容がエネルギーと絡んでくることになる。 熱統計エントロピ−は、適当な変換機構があれば、情報エントロピ−の上に写像することができる。 (逆は真ならず、もともと熱的な意味を持たない情報からエネルギ−を取り出すのは無理な話だ。) 場合の数がエネルギ−の出入りと関係があるかないかは、その場合の数をエネルギ−に変換できる機構が存在するか否かで決まることなのである。 気体の体積はピストンという機構によって直接仕事に変換できる。 分子運動を記録したノ−トの文字列を仕事に変換する機構はピストンに比べればはるかに複雑ではあるが、「場合の数をエネルギ−に変換する機構」という点ではピストンと同類なのである。

”熱統計と情報の境界線”は、場合の数を仕事に変換する機構の有無によって決まる。 複雑な機構をひねくりだしさえすれば、おそらくどんな場合の数であっても熱統計と結びつけることは可能であろう。 ただ頭の中だけでやたらと複雑な結びつきを作ることに、それ以上に重要な意味があるとも思えない。 結局のところ”熱統計と情報の境界線”は、場合の数を仕事に変換する機構が実現できるか否かによって引くしかないであろう。
もちろんいかなる変換機構を用いたところで、(全エントロピー)=(熱統計エントロピー)+(情報エントロピー) が減少することはありえない。 適当な機構の存在によって可能になるのは、熱統計エントロピ−を、もともと熱とは何の関係なかった対象の上に置き換えることだけである。

熱統計エントロピーと情報エントロピーを相互変換する機構の存在を認めれば、両者の間に本質的な違いは無いのだと言える。 観測とは、物理的な対象をメモリー上に置き換えるプロセスであり、また、メモリー上の記録から物理的な仕事が引き出せる。 かつて、1個1個の分子を扱うことが夢物語であった時代には、熱統計と情報の関係は形式的な意味合いしか持たなかった。 今日、ナノテクノロジーが現実の物語として語られる時代となって、2つのエントロピーはこれまで以上に重大な意味合いを帯びてくることだろう。


熱統計エントロピーと情報エントロピーが同じものなのであれば、情報を投入することによって無限のエネルギーが得られるのではないか?

本節の説明をよく見れば、決して無限のエネルギーを取り出せないということが分かるはずだ。 熱統計エントロピーと情報エントロピーは相互に変換し合うだけである。 (全エントロピー)=(熱統計エントロピー)+(情報エントロピー) は常に増大する。 変換ができたからと言って無限のエネルギーが得られる訳ではない。 熱統計と情報の境界線が薄れたことによって、熱統計力学が何らかの修正を迫られることはない。 ただ、統計力学の適用範囲が拡張しただけである。
ページ先頭に戻る▲