まず最初に、情報エントロピーとは何かについて述べよう。
（情報エントロピーについて基礎知識のある方は、本節と次節は読み飛ばして構わない。）

エントロピーという言葉は、主に二つの分野で使われている。 一つは第一章で見てきたような熱統計力学の分野、もう一つは情報理論の分野である。 紛らわしいことに、この２つのエントロピーは同一ではない。 例えば、熱運動する分子の位置や運動量、電気双極子や磁気双極子の向き、ある分子の化学種や配列の仕方、こういった対象についての情報は直接利用可能なエネルギーに変換することができる。 この場合は熱統計エントロピーと情報エントロピーは等価と言っても良い。 ところが、さいころを転がして次にでる目の数とか、ある文章で次に来る文字、現在の株の値段、こういった人為的な情報は知っていたからといって直接利用可能なエネルギーに変換できるわけではない。 この場合、情報エントロピーは定義できても熱統計エントロピーは定義できない。 古典的な情報理論の主な関心事は、情報をどうすれば効率よく、誤りなく伝達できるかという点にある。 そこでは情報の中身が具体的に何であるかは問われない。 つまり、数値化できる情報であれば何でも情報理論の対象になり得る。 一方、熱統計力学におけるエントロピーの主たる役割は「変化の向き」、即ち「エネルギーの流れる方向」を示すところにある。 熱統計力学の対象は、始めから「エネルギー絡み」のものに限定される。 「ロイヤルストレートフラッシュは自由エネルギー何ジュール分の価値があるか」などという問は、熱統計力学の観点からすればナンセンスであろう。 トランプの札をどう読むかは人間が恣意的に決めたルールであり、エネルギーは自然の定めた値だからである。※

以下では、もう一方のエントロピーに関連する情報エントロピーについて見てみよう。 情報を科学として扱おうとするときに、まずしなければならないのは「情報の大きさ」を数値化することである。 情報の大きさを計るのに最も素朴な方法は、選択子の数を数えることだ。 例えば、ＹｅｓかＮｏかの質問に対する答えは２つの選択子から１つを決めるだけの情報を持っているので「選択子２」と数えることができる。 ０から９までの数字１字がもたらす情報量は「選択子１０」、いま転がしたサイコロの目が何であるか知ったときの情報量は「選択子６」である。

このように選択子の数をもって情報量とする方法は単純で解かりやすいのだが、考えを進めるとすぐに不便な点が出てくる。 まず不便なのは、単純な加算ができないことだ。 サイコロを一回振ったときの選択子は６だが、２回振ったとき（又は２個振ったとき）の選択子は６ｘ６＝３６、３回なら６ｘ６ｘ６＝２１６となる。 これでは扱いが難しい。 もしサイコロ一回の情報量がＸならば、２回で２Ｘ、３回で３Ｘとしたいところである。 もう一点、「選択子１」というのはもともと決まっていることなのだから、情報量は０としたいところである。

こういった不便を鑑みて、もう少しスマートな情報の数え方が編み出されている。 それは、最も単純な情報の形態「Ｙｅｓ／Ｎｏ」を基本単位とする数え方だ。 一回の「Ｙｅｓ／Ｎｏ」によってもたらされる情報量を１と定義する。 つまり「情報量１」は「選択子２」に相当する。 「Ｙｅｓ／Ｎｏ」を２回繰り返したときに得られる情報量を２とする。 ２回の「Ｙｅｓ／Ｎｏ」で４個の選択子のうちの１個を指定できるので、「情報量２」は「選択子４」に相当する。 以下「情報量３」は「選択子８」、「情報量４」は「選択子１６」．．．「情報量ｎ」は「選択子（２＾ｎ）」に相当することになる。 それでは、サイコロを一回振ったときの情報量は幾つになるだろうか。 情報量をＸとして上記のルールに従えば、６＝２＾Ｘだから　Ｘ＝ｌｏｇ［２］６　＝　2.5849625　となる。 この2.5849625 という数字の意味は、「サイコロを一回振ったときの情報量はＹｅｓ／Ｎｏの質問 2.5849625 回分に等しい」と解釈できる。 Ｙｅｓ／Ｎｏの質問だけを使って１から６までの数字のうちの１つを当てることを考えてみよう。 一回目に「４以上ですか？」という質問によって候補を３個に絞ることができる。 ２回目に「偶数ですか？」という質問によって、運がよければ当たるし、運が悪ければ３回目の質問をしなければならない。 つまり６個の選択子のなかから１つを絞り込むには、Ｙｅｓ／Ｎｏの質問２回では少ないし３回では多すぎるのだ。 この数当てを何度も繰り返せば、質問の回数は平均して 2.5849625 回に近づいてゆくことになる。 以上の考え方をまとめると、情報量の定義は次の様になる。

この情報量Ｘの値は「Ｙｅｓ／Ｎｏの質問何回分か」を表している。 情報量の単位は「ｂｉｔ」である。 ｂｉｔという言葉はコンピューター等でおなじみかもしれないが、もともとは情報量の単位だったのである。

上の情報量の定義では、暗黙の内に「全ての選択子が等確率で起こる」という仮定を敷いていた。 同じＹｅｓ／Ｎｏの質問であっても「コインを投げて表が出るか？」に対する解答は（特別なコインで無い限り普通は）５分５分だが、「今日はあなたの誕生日か？」の解答は１：３６４.25 である。 それでは「今日はあなたの誕生日か？」という質問の答によって得られる情報量はいくらだろうか。 解答がＹｅｓの場合、得られる情報量はＸｙ＝ｌｏｇ［２］３６５となる。 解答Ｎｏの場合、３６５の選択子が３６４に絞られるのだから、単純にはゆかない。 この場合、選択子の数の代わりに「Ｎｏの出る確率（の逆数）」、（３６５／３６４）という数を使う。 つまり、Ｎｏの場合に得られる情報量はＸｎ＝ｌｏｇ［２］（３６５／３６４）ということになる。 なぜ選択子の数を確率で置き換えられるのだろうか。 ３６５の選択子を３６４に絞るということは、３６５の選択子を１つに絞ったあとで再び３６４に広げるのと同じだと考える。 この考え方に従うと情報量Ｘｎ＝ｌｏｇ［２］３６５−ｌｏｇ［２］３６４となる（プラス３６５マイナス３６４）。 これは、上のｌｏｇ［２］（３６５／３６４）と同じことだ。 一般にｍ個の選択子からｎ個を絞り出す場合の情報量Ｘは、Ｘ＝ｌｏｇ［２］（ｍ／ｎ）となる。 ｎが１のときは、単にｍ／１＝ｍを使えばよかったわけだ。 さて、「誕生日の質問の答」によって得られる情報量は、Ｙｅｓの情報量とＮｏの情報量の平均値だから、Ｘ＝（１／３６５）Ｘｙ＋（３６４／３６５）Ｘｎ となる。 ここで単純に（Ｘｙ＋Ｘｎ）／２としてはいけない。 なぜならＹｅｓが返ってくる確率はＮｏが返ってくる確率よりずっと小さいからだ。 選択子の確率が異なる場合の情報量の定義は次の様になる。

この世の中の情報の全てが選択子の形で与えられるとは限らない。 例えば「おやつの時間は３時にする」と言われたとき、「３時」という数はどれほどの情報をもたらしているのだろうか。 時間の様に連続的な数値の持つ情報量は、数値の精度に依存することになる。 「３時」が時間単位だったなら、「おやつは３時」のもたらす情報量は一日２４時間のうちの１時間を選び出したということでｌｎ［２］２４である。 これが分単位の３：００だったなら、一日１４４０分の中の１分を選び出したので、精度の低い時間単位より多くの情報量を得たことになる。 連続的な時間の中で、一点の時刻を指定したすると、一点は精度無限大なので情報量も無限大ということになる。 しかし、精度無限大、情報量無限大という状況は考えずらい。 この困難を回避するため、実際には適当な精度で離散的な量に変換してから改めて情報量を考えるのである。 余談だが、時間にルーズな人との待ち合せ時間は「３時」と指定するより「３時１２分」などといった中途半端な時間を指定した方がよい。 「３時」よりも「３時１２分」という言い回しの方が、より高い精度で時間を扱っていることをほのめかすからだ。

世の中には始めから数値化するのが難しい情報も沢山ある。 絵画から受けた印象とか、ある言葉から受けた動揺の大きさとか、人間くさい情報は最も数字になりにくい。 現実の世界を生きる人間にとって、情報における最も重大な関心事は、情報の中身それ自体であろう。 成功の知らせであるか、失敗の知らせだったのか。 有用であるのか、無価値なのか。 しかし、情報理論の立場からすると、情報の中身それ自体には全く関心が無い。 良い知らせだろうと悪い知らせだろうと問題ではない。 問題は、その知らせの「量」だけなのである。 情報の意味を切り離したのは情報理論の成功の秘訣だと言える。 しかし同時に、その切り離された部分は情報理論が最初から見捨てた適用の限界であるとも言えるだろう。

さて、情報量の話が長くなったが、情報量が理解できれば情報エントロピーもすぐに理解できる。 情報エントロピーとは、「情報量にマイナスの符号をつけたもの」である。 選択の幅がせばまったときにプラスの情報量を獲得するのなら、反対に選択の幅が広がったときには情報を失ったものと考えることができる。
　　（情報を失う）＝（マイナスの情報を受け取る）＝（情報エントロピーを受け取る）
この三者は同じことを表している。
「選択の幅が広がる」とは具体的にどんな状況を指すのだろうか。 「答えを得る」の逆は、「問題が与えられた」ときだ。 未知の要素が外部から与えられたとき、それが一体何であるのかを推測する幅が広がることになる。 わからないことが増えたとき、情報エントロピーが増大したと言う。 例えばポーカーを思い浮かべてみよう。 現在手元に５枚のわかっている札があったとして、このうちの一枚を取り替えたとすると、次の手の取り得る可能性は５２−５＝４７通りに広がる。 このトランプの札１枚を取り替えるという行為がｌｎ［２］（４７）だけの情報エントロピーを増やすことに相当する。 アルファベット１文字の書かれた（未開封の）手紙を受け取ると、情報エントロピーはｌｎ［２］（２６）だけ増大する。 １分間にアルファベット２４００文字を送る通信回線は、１分あたりｌｎ［２］（２６＾２４００）の情報エントロピーを運んでくる。 「情報量」と「情報エントロピー」は表裏一体の関係にある。 裏返しになったトランプを受け取ることは情報エントロピーを受け取ることに相当する。 そのトランプを表に返して何の札かを読み取る行為は情報量を増やすことに相当する。

「情報エントロピー」を一言で言い表すのは難しい。 「わからなさ」「選択の自由さ」「不確定の度合い」といったところであろうか。 情報とは、与えられた選択肢の数に着目すれば、その大きさを数値として示すことができる。 選択肢が狭まったとき、我々は情報を得た、情報量を取得した、と言う。 その反対に、選択肢が広がったとき、あるいは考慮すべき要素が増したとき、情報エントロピーが増大した、と言う。 これは私流の読み方だが、「情報エントロピー」という用語の解釈に苦しむときは、「情報量が減る」と読み替えてみるとよい。 この解釈で、大抵の文脈は通るはずだ。