互信息和信息熵.ppt

熵之间的相互关系 H(XY) = H(X) + H(Y|X) H(XY) = H(Y) + H(X|Y) H(X) >= H(X|Y) H(Y) >= H(Y|X) H(XY) <= H(X) + H(Y) 熵的意义（对通信系统） H(X)：表示信源中每个符号的平均信息量（信源熵）。 H(Y)：表示信宿中每个符号的平均信息量（信宿熵）。 H(X|Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度) H(Y|X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵) H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。 解：信源X的熵为： [例]：有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C}，Y的信源符号为{D，E，F，G}，已知 P(X)和P（Y/X），求联合信源的联合熵和条件熵,联合熵最大值。 X A B C P(x) 1/2 1/3 1/6 P(y/x) D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 信源XY输出每一对消息的联合概率为：P(XY) = P(Y/X)P(X) ，结果如下表： P(xy) X A B C Y D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 联合信源的联合熵： 信源Y的条件熵： 信道散布度 (噪声熵) 从上述结果可得： H(XY)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每对符号) 当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大。 对第二个信源Y，其熵H(Y)的计算。由全概率公式： 因此： 联合熵的最大值为： 由于信源相关，使联合熵减小，其减小量为： 定义 互信息量 是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 平均互信息量 平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体测度。 三种表达方式 平均互信息的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。 平均互信息量的性质 对称性： 非负性： 极值性： 凸性 平均互信息量 是输入信源概率分布 的上凸函数，研究信道容量的理论基础。 平均互信息量 是输道转移概率 的下凸函数，研究信源的信息率失真函数的理论基础。 平均互信息量的凸性 平均互信息量为先验概率q(xi)和信道转移概率p(yj/xi)的函数，可以记为： I(X;Y)=I[Q(X);P(Y/X)] 当信道一定时，平均互信息是信源先验概率的上凸函数 对于一定的信道转移概率分布，总可以找到一个先验概率分布为Qm(X)的信源X，使平均互信息达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。 不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。 [例] 设二元对称信道(BSC)的信源空间为：X={0,1}; [Q(X)]={ω, 1-ω}; 0 1-p 0 p p 1 1-p 1 平均交互信息量为： I(X,Y)=H(Y)-H(Y/X) (因为已知转移概率，所以利用这一个公式) H(Y/X)=-∑q(xi)p(yj/xi)logp(yj/xi) =∑q(xi){-[plogp+(1-p)log(1-p)]} =H(p) 其中：H(p)= -[plogp+(1-p)log(1-p)] 另外：为了求H(Y)，利用w(y