[]平均互信息,熵间的关系.pptVIP

2.1.5 平均互信息量 一.平均互信息量 定义：称互信息量 在X、Y集上的联合概率的数学期望为Y对X的平均互信息： 同理X对Y的平均互信息定义为: 考虑到关系式 很容易将(2.1.43)改写为: 二、性质： 1、互易性： 2、 3、非负性： 4、极值性 5、凸函数性 2、 由(2.1.43)式 由(2.1.44)式 由(2.1.45)式 平均互信息量是p(xi)和p(yj/xi)的函数， 即I(X;Y)=f [p(xi), p(yj/xi)]； 记为： I(X;Y)=I [P, Q]； 若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi)的函数， 即I(X;Y)=f [p(xi)]； 若固定信源，调整信道，则平均互信息量I(X;Y)是p(yj/xi)的函数， 即I(X;Y)=f [p (yj/xi)]。 下面定理阐明了I(X ; Y)与p(x)和p(y︱x)之间的关系。 5、数据处理不等式 如果随机变量X,Y,Z的联合概率函数可以写成：p(xkyjzi)=p(xk)p(yj/xk)p(zi/yj) 则称这三个随机变量构成马尔可夫链，记为：X→Y → Z 性质1，如果X→Y → Z则在给定Y的条件下，X和Z条件独立，即 p(xk, zi/yj)=p(xk/yj)p(zi/yj) 性质2：如果X→Y → Z则I(X;Z/Y)=0 数据处理中平均交互信息量的不增性： ? 图 串联信道 如图所示的串联信道，X是输入消息集合，Y是第一级信道输出，Z是第二级数据处理后的输出消息集合，假设X→Y→Z（Y条件下X,Z独立） ，可以证明： 例2.1.7：教材36页 如果想通过Y经可能多的获得关于X的信息，也就是想增加互信息，必须付出代价，比如采用多次测量的方法。 这就说明，从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X；Z)，总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X；Y)。 如果第二级信道是数据处理系统，则对接收到的数据Y进行处理后，无论Z是Y的确定对应关系还是概率关系，决不会减少关于X的不确定性。 数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均互信息量的不增性。 亦即数据处理过程中只会失掉一些信息，绝不会创造出新的信息。最多保持原来的信息，一旦失掉了信息，用任何处理手段，也不可能再恢复丢失的信息 信源熵、互信息之间的关系： 图2.3 信源熵与互信息量之间的关系图 各种熵之间的关系 作业： 1。将已知等概信源接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 三维联合集的平均互信息关系： 仅当 = = 时，等号成立， 一般情况下 [例2.1.6]设二进制对称信道的输入概率空间为， 信道转移概率如下图 0 0 1 1 q 1-q q 1-q 由信道特性决定的条件熵： 由 可求得 平均互信息量 …(1) 在式（1）中，当q不变即固定信道特性时，可得I(X;Y)随输入概率P变化的曲线，如下图所示。由图可见，二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。 I(X;Y) 0 1 0.5 P 1-H(q) 固定信源 ，通过调整信道 而得； 即有两个不同的信道特性 和 将信道两端的输入和输出即X和Y联系起来，如果 用小于1的正数