信息论第三讲-平均交互信息量的特性.pptVIP

所以有：I(X,Y)=H(X)=H(Y) 根据信道容量的定义， 这种信道的特点是：n=m。 ②具有扩展性的无噪声信道 其信道转移概率图及矩阵如下： * 离散信源的数学表示：离散随机变量 [X,p(xi)] 信源符号的不确定度：Hartly公式 H(xi) 信源符号的自信息量：I(xi)=H(xi) 信源的熵=信源符号的平均信息量：H(X) 有噪信道的交互信息量： I(xi,yj)=H(xi)-H(xi/yj) 平均交互信息量：I(X,Y)=H(X)-H(X/Y) 独立熵：H(X) 联合熵（共熵）： H(X,Y) 条件熵： H(X/Y)，H(Y/X) 上一讲的主要内容 上一讲的主要内容 几个常用关系 先验概率：p(xi) 先验熵： H(X) （信源熵） 后验概率：p(xi/yj) 后验熵：H(X/Y) （可疑度） 转移概率：p(yj/xi)（描述信道） 噪声熵：H(Y/X) 2.5 平均交互信息量的特性 2.5.1 I(X,Y)的非负性 2.5.2 平均交互信息量的交互性 2.5.3 平均交互信息量的极值性 2.5.4 平均交互信息量的凸函数性 2.5.5 平均交互信息量的不增性 2.5.1 I(X,Y)的非负性 由，当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数。因此 f{∑pixi}≥∑pif(xi)， 如f(x)=logx，则有： log{∑pixi}≥∑pilogxi Jensen不等式: 如果f(x)是严格的上凸函数, 则E(f(x))≤f(E(x))。 根据这个关系，考虑平均交互信息量， I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)] 则： -I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)] ≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)] =log{∑p(xi) ∑p(yj)}=0 所以有：I(X,Y) ≥0 2.5.2 平均交互信息量的交互性 由于p(xi,yj)=p(yj,xi) 则：I(X,Y)=I(Y,X)（对于一个信息系统来说） 交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。 X和Y相互独立，交互性最小， I(X,Y) =0； X和Y完全相关，交互性最大， I(X,Y) =H(X)=H(Y)； H(X/Y)=H(Y/X)=0， 相当于信道无信息损失。 这种信道的特点是： n=m，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。 这时有： 所以有：I(X,Y)=I(Y,X)=H(X)=H(Y) 2.5.3 平均交互信息量的极值性 平均交互信息量I(X,Y)不可能超过信源熵H(X)， 因为H(X/Y) ≥0 所以有I(X,Y)=H(X)-H(X/Y)≤H(X) 因为H(Y/X) ≥0 所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y) 疑义度、噪声熵总是大于等于0，平均交互信息量总是小于信源熵或信宿熵。 在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。 扩展性无噪声信道 由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0. 即： 这时可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲，这种信道可以把信源的信息全部传递给信宿。这种每列只有一个非0元素的信道也是一种无噪声信道，称为具有扩展性的无噪声信道。 这时：H(Y/X)=H(Y)-H(X) 因为：H(Y/X) ≥0， 所以：H(Y) ≥ H(X)； 得到的结论为： 这时的信宿熵将大于信源熵，因此称为扩展信道。 并归性无噪声信道 这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y) 这时可以证明： 疑义度 H(X/Y)=H(X)-H(Y), 并且H(X)≥H(Y)， ①通过这两个例题可以进一步理解条件熵的概念，疑义度和噪声熵都是由于信道噪声引起的，当信道转移概率是一一对应的确定关系时，疑义度和噪声熵等于0，无噪声信道。 ②一个X产生多个Y，称为扩展信道，在扩展信道中若[P]中每列只有一个非0元素，H(X/Y)=0，即疑义度=0，称为扩展性无噪声信道，否则称为扩展噪声信道。 ③多个X产生一个Y，称为归并信道，在归并信道中若[P]中元素为0或1，H(Y/X)=0，即噪声熵=0，称为归并性无噪声信道，否则