甘利俊一『情報理論』を読む 第一章情報の数量的認識第一節情報量とエントロピー

昨今の機械学習人工知能のブーム再来によって、甘利俊一の名前を目にする事が多くなった。私が最初にこの大先生の名前を知ったのはベイズ統計関連の本を渉猟している時に学習理論に言及されている文の中であった。甘利俊一が提唱した情報幾何学という分野が学習理論に置いて重要な役割を果たすと言うことであったが、数学が元来苦手な私にとっては、文章こそ刺激的であったもののそれ以上探求する事は出来なかった。それから10年近くが経ち、このブームが訪れ、甘利氏が一般向けに分かり良い人工知能の本をお出しになり、再び自分自身もこのお名前に触れる事になった。そこで、もう少し理論的な側面から、氏の主張に触れたいと思うようになり、このちくま学芸文庫版の『情報理論』を購入して、熟読することに決めた。

本が届いて見て最初は何気なく読んでみてみたが、文庫本であるとどうしても小説のようにページをめくってしまい頭に理論が入っていかない。これではいかんと思い、丹念にノート作成しながら読み進めて行くことにした。手間は掛かるが、結局それで理解が進めばそちらの方が早い。急がば回れである。

 

第一章は「情報の数量的認識」で第一節は「情報量とエントロピー」である。まず、情報の定義から始まり、情報量とエントロピーについての数量的な定義付けとその関係、特に不等式について丁寧に説明されている。

 

情報量はその情報を得たことにより状況の不確実性を減少させた度合いによって計られる。またエントロピーは、この状況の不確実性、不確定度を表す量として定義される。従って、エントロピーの定義が定まれば、二つの状況の差を取ることで情報量も定義されることになる。

 

また二つの事象間のエントロピーの関係についても定義される。即ち二つの事象に相関があるならば、片方の事象を知ることにより、もう片方の事象のエントロピーを減少させることが出来るであろう。この時の不確実性を条件付きエントロピーと呼ぶ。そして、これにより相互情報量も自然に定義され、それは片方の事象を知った時にもう片方の事象がどの程度減少するかである。

 

 

田中芳樹著『アルスラーン戦記 戦旗不倒』

不要な本を整理する為にAmazonで売ってみようかと覗いてみると酷評が並んでいた。読んだとき面白くないと感じたが、それは自分が歳を取ったせいだと思った。恐らくそれも多分にある。

しかし、確かに改めて言われてみると作者の筆力が衰えてしまったのかとも思わなくもない。銀河英雄伝説の頃にあった格調高い漢文調の文はいつの間にか凡庸な散文的なものになってしまったのかもしれない。そう言えば田中芳樹は「この散文的」という表現が好きで、作品の中で誰かの死を形容するのによく用いられていた気がする。

作家も読者も少年老い易く学成り難しというか老いると創造性も感受性もくすんでゆくのだろうか。

「取引システム高速化とティックサイズの制約」太田亘を読む

現代ファイナンスNo38 2016年9月号掲載の「取引システム高速化とティックサイズの制約」太田亘が中々面白そうなので読んでみることにした。

 

しかし何分自分の能力では正確に多くの事が理解しえないので取り合えず羅列的に目についたところを上げていくことにする。

 

主題は東京証券取引所の「取引システムの高速化により流動性がどのように変化する」かである。

 

代表的な指標は

  1. 実効スプレッド:在庫回転による収入の指標
  2. 逆選択コスト:情報投資家と取引可能性があることにより発生する評価損の指標
  3. 実現スプレッド:利潤等を反映する指標?

 

  • Jovanovic/Menkveld[2011], Hoffmann[2014]:逆選択コストは低下するという理論モデルを提示
  • Biais/Woolley[2011]:流動性供給の寡占化が進行し、実現スプレッドは上昇すると理論的に主張
  • その他実証研究によって、外国市場に置いてはそれらが観察されると報告されている。

一方、東証ではどうかというと高速化の実施後、

  • 逆選択コストは上昇
  • 実現スプレッドは低下

と逆の現象が観察されているという。これは不思議。ということで、この論文はこの謎に迫るというのが主な関心らしい。

 

これらの原因として

  1. 制約仮説
  2. 学習仮説

を検証。それぞれの仮説がどういうものかは長いので本文参照。

 

『ルベーグ積分入門』 自分用学習ノート

動機

何か数学の勉強がしたくなり以前読みかけでほぼ放置してしまったこの本を再読してみる。毎回、途中で挫折してしまうが、今回は辛抱強く証明を一つ一つ丹念に理解していって、確実に読み進めたい。

 

目的

最早、目的は特にない。以前であれば、そこから確率過程論、そして数理ファイナンスというような気持があった。しかし、今や数理ファイナンス疑似科学なのではないかと、信仰が揺らぎ始め、関心が薄れてしまった。

一つ書くと、確率微分方程式偏微分方程式の関係を正確に理解したい。

 

方法

システム開発で流行りのAgile方式でやってみる。

数学の勉強にAgileを適用するとは何なのか、自分もよく分かっていないが、以下のような感じ。

  • 進捗目標を細かく分ける。
  • その都度現状の理解度を文字にして報告

 

続きを読む