甘利俊一『情報理論』を読む 第一章情報の数量的認識第一節情報量とエントロピー

昨今の機械学習や人工知能のブーム再来によって、甘利俊一の名前を目にする事が多くなった。私が最初にこの大先生の名前を知ったのはベイズ統計関連の本を渉猟している時に学習理論に言及されている文の中であった。甘利俊一が提唱した情報幾何学という分野が学習理論に置いて重要な役割を果たすと言うことであったが、数学が元来苦手な私にとっては、文章こそ刺激的であったもののそれ以上探求する事は出来なかった。それから10年近くが経ち、このブームが訪れ、甘利氏が一般向けに分かり良い人工知能の本をお出しになり、再び自分自身もこのお名前に触れる事になった。そこで、もう少し理論的な側面から、氏の主張に触れたいと思うようになり、このちくま学芸文庫版の『情報理論』を購入して、熟読することに決めた。

本が届いて見て最初は何気なく読んでみてみたが、文庫本であるとどうしても小説のようにページをめくってしまい頭に理論が入っていかない。これではいかんと思い、丹念にノート作成しながら読み進めて行くことにした。手間は掛かるが、結局それで理解が進めばそちらの方が早い。急がば回れである。

第一章は「情報の数量的認識」で第一節は「情報量とエントロピー」である。まず、情報の定義から始まり、情報量とエントロピーについての数量的な定義付けとその関係、特に不等式について丁寧に説明されている。

情報量はその情報を得たことにより状況の不確実性を減少させた度合いによって計られる。またエントロピーは、この状況の不確実性、不確定度を表す量として定義される。従って、エントロピーの定義が定まれば、二つの状況の差を取ることで情報量も定義されることになる。

また二つの事象間のエントロピーの関係についても定義される。即ち二つの事象に相関があるならば、片方の事象を知ることにより、もう片方の事象のエントロピーを減少させることが出来るであろう。この時の不確実性を条件付きエントロピーと呼ぶ。そして、これにより相互情報量も自然に定義され、それは片方の事象を知った時にもう片方の事象がどの程度減少するかである。