情報理論 - isw3.naist.jp.pptVIP

* 前回の練習問題 無記憶?非定常な情報源を一つ例示せよ 時刻 t に t 枚のコインを投げるとき，表が出る枚数 以下のマルコフ情報源について， 状態の定常確率分布を求めよ 通報 A, B の定常確率を求めよ 0 1 2 A/0.4 A/0.5 B/0.6 A/0.8 B/0.5 B/0.2 (w0, w1, w2) = (0.1, 0.7, 0.2) P(A) = 0.7 P(B) = 0.3 前回の補足：マルコフ情報源が既約であること 既約（irreducible）マルコフ情報源 任意の状態から任意の状態に遷移可能なマルコフ情報源 厳密には... 時刻 t の状態を変数 Xt で表現するとき，任意の時刻 i, j (i j) および任意の状態 si, sj に対し，P(Xj = sj | Xi = si) 0 であること 無限個の状態を持つマルコフ連鎖では，既約であっても， P(Xj = sj | Xi = si) → 0 となるケースもある（収束 ≠ 一致） * 1.0 0.1 0.9 0.1 0.9 0.1 0.9 0.1 0.9 0.1 * 本日の講義について 「情報量」を定義する 情報源に対し，エントロピーの概念を導入 エントロピー＝通報を予想する難しさの定量的指標 エントロピーが大きい ? 予測することが難しい 一個の通報の持つ情報量を定義 情報量＝その通報