互信息.pptVIP

* 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度 [结论]“Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(有用总体) I(X/Y)——信宿收到的平均信息量(有用部分) 　[结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 平均互信息（物理意义） * 2. I(Y;X)= H(Y) – H(Y/X) = I(X;Y) (1) H(Y)——信宿收到的平均信息量 I(X;Y)——信道传输的平均信息量 [结论] H(Y/X)——因信道有扰而产生的 　　　　　　　　　称噪声熵、散布度 (2) H(Y)——Y的先验不定度 H(Y/X)——发出X后，关于Y的后验不定度 [结论] I(Y;X)——发X前后，Y不定度的减少量 平均互信息（物理意义） * 3. I(X;Y) = H(X) + H(Y) – H(XY) H(X) +H(Y)——通信前，整个系统的先验不确定度 H(XY)—— 通信后，整个系统仍剩的不确定度 I(X;Y)—— 通信前后，整个系统不确定度的减少量，　　　即传输的互信息 [结论] I(X;Y)——平均每传送一个信源符号时， 流经信道的平均(有用)信息量 H(X) I(X;Y) H(Y) H(X|Y) H(Y|X) 平均互信息（物理意义） * 文氏图 I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y) H(X/Y) H(Y/X) H(Y) H(X) I(X;Y) H(XY) H(X) I(X;Y) H(Y) H(X/Y) H(Y/X) * 文氏图 I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y) H(X/Y) H(Y/X) H(Y) H(X) I(X;Y) H(XY) H(X) I(X;Y) H(Y) H(X/Y) H(Y/X) * 1.非负性——I(X;Y) ≥0， 尽管I(xi;yj) 的某些元素可为负 2.对称性——I(X;Y) = I(Y;X) 3.极值性—— I(X;Y) ≤ H(X) I(X;Y) ≤ H(Y) [特例] I(X;Y)= H(X) – H(X/Y) ＊当 H(X/Y) = 0 时， I(X;Y)= H(X) ——信道无噪（X、Y一一对应） ＊当 I(X;Y) = 0 时， H(X/Y) = H(X) ——信道中断（X、Y独立） 平均互信息（性质） * 4. 凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）—信道容量的基础； (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）—率失真函数的基础. 平均互信息（性质） * 让一百万只猴子花一百万年的时间来打字， 我们就能最终得到一本圣经； 如今，我们搞定了！！只花了经过相当程度 缩减的时间。借助我们特别训练的马尔可夫 猴，我们可以实时的重写整部圣经了。 * 马尔可夫链 （离散时间）马尔可夫链，因安德烈?马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。  * 马尔可夫链 马尔可夫性质是概率论中的一个概念。随机过程被称为是具有马尔可夫性质，当给定现在状态时该过程的未来状态的条件概率分布，仅依赖于当前状态。换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的。具有马尔可夫性质的过程通常称之为马尔可夫过程。  * 马尔可夫链 马尔可夫过程 Markov process 一类随机过程。它的原始模型马尔可夫链，由俄国数学家