第二章互信息.ppt

L o g o 第四讲 互信息 informationzhl@126.com 邹慧兰 复习概念 自信息量 1 联合自信息量 2 条件自信息量 3 I(xi)＝-log p(xi) I(xi，yj)＝-log p(xi， yj) I(xi|yj)＝-log p(xi|yj) 信源熵 4 条件熵 5 联合熵 6 H(X)＝-∑p(xi) log p(xi) H(X|Y)＝∑p(xi,yj) I(xi|yj) ＝ -∑p(xi,yj) logp(xi|yj) H(X,Y)=∑p(xi,yj) I(xi,yj) =－ ∑p(xi,yj) logp(xi,yj) 2.2.3 互信息 1 互信息定义 最简单通信系统模型： X-信源发出的离散消息集合， Y-信宿收到的离散消息集合； 信源通过有干扰的信道发出消息传递给信宿 信源X的数学模型为： 信宿Y的数学模型为： 信 源 信 宿 信道 干扰 先验概率-信源发出消息xi的概率 后验概率-信宿接收到消息yj后推测信源发出xi的概率 互信息： yj对xi的互信息定义为后验概率与先验概率比值的对数 2 例题 某地二月份天气构成的信源如下： 收到消息y1：“今天不是晴天” 收到y1后： y1与各种天气之间的互信息： 对x1：0 对x2： 对x3： 对x4： 表示从y1得到关于x2的信息量是1bit。 3 互信息的含义 自信息量：对yj不知道的情况下，xi存在的不确定度 条件自信息量：已知yj的条件下xi仍然存在的不确定度 互信息：两个不确定度之差是不确定度被消除的部分， 也就是从yj得到的关于xi的信息量 互信息的引出，使得信息流通问题可以进行定量分析 4 平均互信息 如果将信道的发送端和接收端分别看成是两个信源，两者之间的依赖关系描述了信道的特性 互信息 是定量研究信息流通问题的基础，是一个随机变量，不能从整体上作为信道中信息流通的量度。 4.1 平均互信息的定义 互信息量在联合概率空间p(xy)上的统计平均值 4.2 平均互信息的物理意义 从接收端考虑 1 从发送端考虑 2 从通信系统总体上考虑 3 从接收端考虑 1 H(X)-X的先验不确定度。 H(X|Y)-疑义度/损失熵,是收到Y后，对X仍然存在的不确定度，可看作是由于信道上存在干扰而损失掉的平均信息量。也可看作由于干扰，接收端获得Y后还剩余的对信源符号X的不确定度。 I(X,Y)-收到Y前后对X的不确定度减少的量。从Y获得的关于X的平均信息量。 从发送端考虑 2 H(Y)-Y的不确定度。 H(Y|X)-噪声度, 当信源发出随机变量X后，对随机变量Y仍然存在的不确定度。如果信道不存在噪声，发送端和接收端应该存在确定的对应关系，发出X必能确定对应的Y,而现在不能确定对应的Y，这先验是由信道噪声引起的。 I(X,Y)-发出X前后对Y的不确定度减少的量。 从通信系统总体上考虑 3 H(XY)-联合熵,表示输入随机变量X，经信道传输到信宿，输出随机变量Y，即收发双方通信后，整个系统仍然存在的不确定度。 I(X,Y)-通信前后整个系统不确定度减少的量。通信前把X和Y看成两个独立的随机变量，整个系统的不确定度是X和Y的联合熵H(X)+H(Y),通信后把信道两端出现X和Y看成由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这是整个系统的后验不确定度由H(XY)描述。 结论 以上三种不同的角度说明，从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 1 全损离散信道：X与Y相互独立，无法从Y中提取X的信息，信道噪声相当大，传输的平均信息量为0，信源发出的信息量在信道上全部损失掉了。 4.3 特殊信道的平均互信息 I(X;Y)=0 H(X|Y)=H(X) 2 无干扰离散信道：Y是由X确定的一一对应的函数，已知Y就完全解除了关于X的不确定度，信道上没有噪声，信道不损失信息量。 H(X|Y)=0 I(X;Y)=H(X) 4.4 平均互信息的性质 I(X;Y)=H(X)-H(X|Y) I(Y;X)=H(Y)-H(Y|X)=I(X;Y) 证明： 同理： 另： 4.5 三个变量互信息量定义 1. 3个变量情况下xi与符号对(yj,zk)的互信息量 I(xi;yj,zk)=log[p(xi|yj,zk)/p(xi)] 2. 条件互信息量定义 I(xi;yj|zk)=log[p(xi|yj,zk)/p(xi|zk)] I(xi;yj,zk)= I(xi;zk)＋ I(xi;yj|zk) 3. 互信息量之间的关系 说明：一个联合事件yjzk出现后提供的有关xi的信息量I(xi;yj,zk)等于在zk事件出现后提供