信息论基础互信息.ppt

相对熵和互信息 附：信息论中的重要不等式 主要内容 信息论中的重要不等式 相对熵 互信息 1.4 重要不等式 对任意实数 对任何两组满足条件 的实数， 重要不等式 对任何两组实数 , 重要不等式 詹森不等式 是一个随机变量， 表示 的数学期望， 是上凸函数，则 费诺不等式 是在 中取值的随机变量，记 则 相对熵（互熵） 两个概率分布“差异性”的度量值，也是一种重要的信息度量 . 同一字母集上两个概率分布的相对熵： 对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时的差异. 相对熵的性质 ，等号成立 是概率分布对 的凸函数 互信息 互信息 I(信息量)=不肯定程度的减小量 如果信道是无噪的，当信源发出消息x后，信宿必能准确无误地收到该消息，彻底消除对x的不确定度，所获得的信息量就是x的不确定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了 . 互信息 1. 互信息 (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi的不确定度 ＊ I(xi;yj) __收到yj而得到(关于xi )的互信息 =不确定度的减少量 互信息 (2) xi对yj的互信息 I(yj;xi) [含义] 信源发xi前、后， 信宿收到yj的不确定度的减少 互信息 2. 互信息的性质 (1) 对称性——I(xi ;yj) = I(yj ;xi) (2) X与Y独立时——I(xi ;yj) = 0 (3) I(xi;yj) 可为正、负、0 3. 条件互信息 给定zk条件下，xi 与yj间互信息 互信息 I(xi;yj) 可为正、负、0的举例 设yj代表“闪电”，则 当xi代表“打雷”时，I(xi/yj) = 0，I(xi;yj) = I(xi) ＞0 当xi代表“下雨”时，I(xi/yj) ＜I(xi)，I(xi;yj) ＞0 当xi代表“雾天”时，I(xi/yj) = I(xi)，I(xi;yj) = 0 当xi代表“飞机正点起飞”时，I(xi/yj)＞I(xi)，I(xi;yj) ＜0 平均互信息 为了客观地测度信道中流通的信息，定义互信息量I(xi;yj)在联合概率空间p(x,y)中的统计平均值为Y对X的平均互信息量： X对Y的平均互信息量： 平均互信息 由关系式 　　　　　　，可以推导出 平均互信息 平均互信息 平均互信息（表达式） 1.Y对X： 2.X对Y： 3.合写： 平均互信息（物理意义） 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度 [结论]“Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(有用总体) I(X/Y)——信宿收到的平均信息量(有用部分) 　[结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 平均互信息（物理意义） 2. I(Y;X)= H(Y) – H(Y/X) = I(X;Y) (1) H(Y)——信宿收到的平均信息量 I(X;Y)——信道传输的平均信息量 [结论] H(Y/X)——因信道有扰而产生的 　　　　　　　　　称噪声熵、散布度 (2) H(Y)——Y的先验不定度 H(Y/X)——发出X后，关于Y的后验不定度 [结论]