情報科学について～情報量や情報源～

初めに

数学って好きですか？

私は好きです。

基本情報を始めとした情報処理試験にも数学の知識は必要ですね、集合とか、対数計算とか、指数とか。

今回は数学の対数計算がちょっぴり出てくる 情報量 についてお話したいと思います。

情報量とは？

情報の量って何でしょうね？どうやって表されるんでしょうか。

意外と例は「天気」や「さいころ」、「コイン」を使って表されます。

例えば、 コインで表が出るか裏が出るか って、もちろん答えは「表」か「裏」なんです。

また、サイコロを振って出る数はいくつだろうか というのは「１」～「６」の６通り。

厳密にはそんな単純ではないにしろ、前者は２通り、後者は６通りと、答えの数に差があります。

このように、「何が答えとして出るか」のパターンの量を私は情報量だと解釈しています。

コインの例だと、表 or 裏 の２択なので、0 or 1 の 1bitで表すことができます。

サイコロの例だと、6通りを表すためには、0,1,10,11,100,101 の少なくとも6bitが必要ですね。

つまり、 サイコロで出る目の方が情報量は多い といえます。

これを踏まえて次項に行きましょう。

情報量の計算

ITの資格なので、計算が出てきてしまうのは仕方ないですね。

とはいえ、そんなに難しくはないはずです。数学アレルギーの方はがんばりましょう。

事象Aの生起確率(発生する確率)をP(A)と表すときの情報量をI(A)bit とするとき

となります。

は？とか言わずに思い出してください。

例えば前述のコインの例だと

であるため、

となりますね。1bitで表せることがここでも証明されました。

また、サイコロの例だと

となり、2と少しのbit数、つまり少なくとも3bit必要と証明されました。

情報源

情報量の話や計算をしましたが、続いては情報源の話です。

こちらは至ってシンプルで、情報を発生させる行為を指します。

情報源が、何かしらの情報量を発生させます。例をだすと、「サイコロを投げる」といった情報源が「１が出た！」という情報量を発生させる、ということですね。

平均情報量

名前の通り、情報源に対する情報量の平均です。

サイコロの例だと、

1が出る確率とその情報量を掛けて全て足し合わせたものになります。

情報学ではこの 平均情報量 を H で表します。

k が 1 から mまでの、確率 * 情報量 の合計ですね。

この平均情報量のことを、別名エントロピーとも言います。

マルコフ情報量

コイン、って次に出る面は、前回出た面に影響されないですよね。

じゃんけんも同様に、「さっきグーが出たから次はグーがでない」ということはありません。（心理戦は置いといて。）

このように、 ある事象の生起確率が、それ以前の事象に影響を受けない情報源 を 無記憶情報源やエルゴード情報源といいます。

逆に、天気のように「昨日は曇ってたし、梅雨だから明日はきっと雨が降るだろう」といった影響を受ける情報源を``マルコフ情報源**といいいます。

マルコフ情報源のうち、影響を与えるものが1つの情報源を単純マルコフ情報源といいます。上記のように、今日の天気に影響を与える要因が「昨日雨が降ったから」という、1つだけの場合は単純マルコフ情報源だと言えます。

オートマトンに関係するのは、単純マルコフ情報源なんですね。よく試験に出ます。

なんちゃって情報科学授業終わり。