信息论与编码-第5讲-第2章信源及信息度量2[修改].pptVIP

请回答：;2.1.4 平均互信息量;(1) 平均互信息量的定义;平均互信息的第三种定义 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。;(2) 平均互信息量的物理含义;① 观察者站在输出端;② 观察者站在输入端;③ 观察者站在通信系统总体立场上;结 论;举 例;解：(1) 求联合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.5×0.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.5×0.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.5×0.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.5×0.98=0.40 (2) 求Y的各消息概率 (3) 求X的各后验概率 (4) 求信源熵和联合熵;(5) 平均互信息 I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号 (6) 疑义度 (7) 噪声熵 ;(3) 平均互信息量的性质;① 对称性;自然对数性质：lnx≤x-1，x0，当且仅当x=1时取等号。 ;② 非负性; 即 I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。;③ 极值性;④ 凸函数性; 平均互信息量的数学特性; I(X;Y)是 p(xi)的上凸函数; I(X;Y)是 p(yj/xi)的下凸函数;⑤ 数据处理定理; 串联信道; 数据处理定理;结论： 两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量，也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，???后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 ;2.1.5 各种熵之间的关系