第2章_信息的度量..pptVIP

* 上述定义并不是严格意义下的熵差或“距离”，仅有一种相互的关系。利用这一关系引入平均互信息量的另一种定义。 定义2.10 平均互信息量用相对熵定义如下： 2.3 互信息量和平均互信息量 2.3.7　平均互信息量的另一种定义 * 二维随机变量的熵 H(X1,X2) = H(X1)+H(X2|X1) (2.32) 多维随机变量的熵 P(X1, X2,…, Xn) = P(X1) P(X2|X1) ···P(Xn |Xn – 1, Xn – 2,…, X2, X1) 根据熵和共熵的定义可推得 H(X1, X2, X3) = H(X1)+H[(X2, X3)| X1] = H(X1)+H(X2|X1)+H(X3| X2, X1) (2.33) H(X1, X2,…, Xn)= H(X1) + H(X2| X1) +H(X3| X2, X1)+ … + H(Xn|Xn–1, Xn–2,…, X2, X1) = 2.4 多维随机变量的熵 2.4.1　熵的链接准则 (2.34) * 式(2.34)被称为熵的链接准则（Chain Rules） 给出了多维随机变量的联合熵与各随机变量的熵之间的关系。 等于某一随机变量的熵及其他所有随机变量的条件熵之和，而条件熵涉及的条件，随着随机变量的维数增加而递增。 2.4 多维随机变量的熵 2.4.1　熵的链接准则 * 多维随机变量的信息流通问题 假设信源是一个多维随机变量(X1, X2,…, Xn)，它通过信道传送到信宿的信息量，就是它们的平均互信息量I(X1, X2,…, Xn；Y)。 由平均互信息量的定义和熵的链接准则，有 2.4 多维随机变量的熵 2.4.2　信息链接准则 (2.35) * 式(2.35)被称为信息链接准则 给出了多维随机变量的信息流通量与各随机变量的信息流通量之间的关系 为( )条件下Xi与Y的平均互信息量。 2.4 多维随机变量的熵 2.4.2　信息链接准则 * 定理2.1 n维随机变量的共熵，不大于它们各自的熵之和。即 　　　　　　　　(2.36) 称为熵的界（Bounds）。 2.4 多维随机变量的熵 2.4.3　熵的界 * 证明 因为 0 ? I (X; Y) = H(X) – H(X|Y) ，所以 H(X|Y) ?H(X) 由共熵的定义和熵的链接准则，有 H(X1, X2) = H(X1) +H(X2| X1) ? H(X1)+H(X2) H(X1, X2, X3) = H(X1)+H(X2, X3|X1) = H(X1)+H(X2|X1)+H(X3|X2, X1) ? H(X1)+H(X2) +H(X3) 证毕。 2.4 多维随机变量的熵 2.4.3　熵的界 * 由随机过程理论，对于3个随机变量空间X、Y、Z，如果Z的条件分布仅仅取决于Y而与X的条件无关，则称随机变量空间X、Y、Z构成了马尔可夫链（Markov Chain），简称马氏链。 特别地，若 P(X, Y, Z)=P(X)P(Y|X)P(Z|Y) 　(2.37) 则随机变量空间X、Y、Z构成了马氏链。 X、Y、Z构成的马氏链也可写成X→Y→Z。 2.4 多维随机变量的熵 2.4.4　数据处理不等式 * 定理2.2 如果X→Y→Z，则I(X; Y) ? I(X; Z) 证明 由平均互信息量的性质和信息链接准则，可得 I(X; Y, Z) = I(X; Z) + I(X;Y|Z) 　　　　(2.38) 或 I(X; Y, Z) = I(X; Y) + I(X; Z|Y) 　　　　(2.39) X、Z与给定的Y条件无关，式(2.38)中的I(X;Y|Z) ? 0，而式(2.39)中的I(X; Z|Y)=0， 因此　　I(X; Y) ? I(X; Z) 　(2.40) 证毕。 类似地，也可以证得I(Y; Z) ? I(X; Z) 　　　　(2.41) 2.4 多维随机变量的熵 2.4.4　数据处理不等式 * 定理说明：当消息通过级联处理时，其输入和输出消息之间的平均互信息量，不会超过输入消息与中间消息之间的平均互信息量，也不会超过中间消息与输出消息之间平均互信息量。 结论可以推广到多级处理的情况，且无论处