[物理]信息论与编码2012.pptVIP

* * * * * * * * * * * * 观察者站在通信系统总体立场上 信息论与编码基础 离散信道 通信后 发送 接收 观察者站在通信系统总体立场上 通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度 通信后的互信息量，等于前后不确定度的差 这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。 信息论与编码基础 离散信道 互信息的引出，使信息流通问题进入了定量分析的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，可以认为是信息论发展的又一个里程碑。 信息论与编码基础 离散信道 ② 互信息的性质 对称性 相互独立时的X和Y 互信息量可为正值或负值 不大于其中任一事件的自信息量 信息论与编码基础 离散信道 对称性 I(xi;yj)=I(yj; xi) 推导过程 互信息量的对称性表明： 两个随机事件的可能结果xi和yj之间的统计约束程度； 从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj; xi)是一样的，只是观察的角度不同而已。 互信息量描述了两个随机事件xi、yj 之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。 信息论与编码基础 离散信道 相互独立时的X和Y 这时 p(xi yj)=p(xi)p(yj) 互信息量为 表明xi和yj之间不存在统计约束关系，从yj得不到关于xi的任何信息，反之亦然。 信息论与编码基础 离散信道 互信息量可为正值或负值 当后验概率大于先验概率时，互信息量为正。 当后验概率小于先验概率时，互信息量为负。 说明收信者未收到yj以前，对消息xi的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息yj后对xi是否出现的猜测的难疑程度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值。 当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。 信息论与编码基础 离散信道 互信息量可为正值或负值 值域为实数 互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。 考虑以下几种情况。 （1）p(xi /yj )=1，I (xi； yj ) = I(xi)。 后验概率为1，说明收到yj后即可以完全消除对信源是否发xi的不确定度。 其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。 信息论与编码基础 离散信道 互信息量可为正值或负值 （2）p(xi) p(xi/yj ) 1，这时 I(xi) I(xi/yj)，I(xi；yj) 0 后验概率大于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，要大于xi在信源集合中的概率. 或者说收到yj后多少还能消除一些对信源是否发xi的不确定度，因此yj获取了关于xi的信息量。 I(xi；yj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(xi；yj) 0，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。 信息论与编码基础 离散信道 互信息量可为正值或负值 （3）p(xi /yj)=p(xi )，即 I(xi ) = I(xi / yj)，I(xi ; yj) = 0 后验概率与先验概率相等，说明收到yj后对信源是否发xi所进行判断的正确程度，和xi在信源集合中的概率是一样的； 因此，它一点也不能消除对信源是否发xi的不确定度，也就是说从yj中获取不到关于xi的信息量； 事实上，假若xi 和yj 统计无关，即p(xi , yj)=p(xi )p(yj)，由贝叶斯公式容易推得I(xi ； yj) = 0； 这种情况实际上是事件xi和事件yj统计无关，或者说信道使得事件xi和事件yj变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。 信息论与编码基础 离散信道 互信息量可为正值或负值 （4）0p(xi /yj) p(xi)，即 I(xi)I(xi/ yj)，I(xi; yj)0 后验概率小于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，比xi