情報理論-prml.main.ist.hokudai.ac.jp.pptVIP

北海道大学 Hokkaido University 北海道大学 Hokkaido University 情報理論 講義資料 * 情報理論 講義資料 2016/06/17 情報エレクトロニクス学科共通科目?２年次?第1学期〔必修科目〕講義「情報理論」第４回 第3章 情報源のモデル[前半] 3.1 情報源の統計的表現 3.2 情報源の基本的なモデル 3.3 マルコフ情報源 3.4 マルコフ情報源の確率分布 * 情報理論 講義資料 2016/06/17 これから学ぶこと 情報源 情報源符号化 あて先 通信路 通信路符号化 情報源復号 通信路復号 符号化 復号 誤りやひずみ データ data データ data 情報理論＝情報の伝達をいかに効率よく、そして信頼性高く 　　　　　　　　行うかに関する理論 受け手の知識の変化 ＝何らかの統計的知識に基づいて 受け手が与えている確率分布の変化 情報源符号化 通信路符号化 良い符号化法?復号法とは？効率性?信頼性の限界は？ * 情報理論 講義資料 2016/06/17 情報源の統計的表現 離散的M元情報源 M個の元を持つ情報源アルファベット A={a1,a2,…,aM} から 時点0 より情報源記号を発生する（時点は整数値） 時点 i の情報源の出力を Xi （i = 0, 1, 2, ???）で表す 時点 n-1 まで（長さ n）の情報源系列 X0 X1 X2…Xn-1 を考える 確率変数 離散的M元情報源 A={a1,a2,…,aM} PX0, X1…Xn-1(x0, x1, …, xn-1)= 〔X0 = x0, X1 = x1, …, Xn-1= xn-1 となる確率〕 X0, X1, …, Xn-1の結合確率分布 時点 0 1 2 3 n-1 n-2 … X0 X1 X2 X3 Xn-2 Xn-1 情報源系列 この情報系列の統計的性質は X0 X1 X2…Xn-1の結合確率分布で完全に定まる。 * 情報理論 講義資料 2016/06/17 結合確率分布により統計的性質が完全に定まるとは？ 情報源アルファベット A = {0, 1} X0, X1,X2の結合確率分布は右図 添え字を省略しているPX0, X1,X2(x0, x1, x2) の意 x0 x1 x2 P(x0, x1, x2) 0 0 0 0.648 0 0 1 0.072 0 1 0 0.032 0 1 1 0.048 1 0 0 0.072 1 0 1 0.008 1 1 0 0.048 1 1 1 0.072 X0 =0 となる確率 PX0(0) は？ PX0(0) = ∑ ∑ P(0, x1, x2) x1=0 x2=0 1 1 = 0.648+0.072+0.032+0.048 = 0.8 PX0, X1…Xn-1(x0, x1, …, xn-1)からX0, X1…Xn-1に関する どんな確率分布も計算できる。 （例） X0, X1…Xn-1のうちのm(n)個の結合確率分布 X0, X1…Xn-1のうちのk個の変数の値に条件を付けたm個(k+m≦n)の条件付結合確率分布 例えば * 情報理論 講義資料 2016/06/17 例の続き：全体の結合確率分布からの条件付確率分布の求め方 条件付確率分布 PX1|X0(x1 | x0) = PX0X1(x0, x1) / PX0(x0) X0 = x0 という条件の下での X1 = x1 となる確率 例） X0 = 0 という条件の下での X1 = 0 となる条件付確率 PX1|X0(0|0) x0 x1 x2 P(x0, x1, x2) 0 0 0 0.648 0 0 1 0.072 0 1 0 0.032 0 1 1 0.048 1 0 0 0.072 1 0 1 0.008 1 1 0 0.048 1 1 1 0.072 PX1|X0(0|0) = PX0X1(0, 0) PX0(0) = 0.72 0.8 = 0.9 P (x2 | x0, x1) = P(x0, x1, x2) P(x0, x1) さらに、X0とX1で条件を付けたX2の条件付確率分布 演習１ * 情報理論 講義資料 2016/06/17 情報源の各種モデル どんな大きい n についても、X0,X1,…,Xn-1 の結合確率分布を与える(Mn個の確率を与える)ことができれば、この情報源の統計的性質は完全に記述できる。しかし、一般には困難。 議論を進めるためには、情報源に何らかの扱いやすい性質を仮定する必要がある。 記 憶 の な い 情 報 源 記 憶 の あ る 情 報 源 定常 情報源 マルコフ情報源 エルゴード 情報源 * 情報理論 講義資料 20