信息论 第三讲互信息幻灯片课件.ppt

张焕国 武汉大学计算机学院 ;目 录 ;目 录 ;三、互信息; 1、条件自信息和条件熵 例3.2 设事件集合X 为二元数字通信系统的发送字符事件集合： X＝｛x1，x2｝ 设事件集合Y 为二元数字通信系统的接收字符事件集合： Y＝｛y1，y2｝ 接收字符和发送字符是密切相关的： 发送x1 ，接收y1 ； x1 y1 发送x1 ，接收y2 ； 发送x2 ，接收y1 ； x2 y2 发送x2 ，接收y2 。 问题： 在发送x1的条件下，接收y1所给出的信息量？ （条件自信息） 在发送字符X的条件下，接收到字符Y所给出的平均信息量？（条件熵） ; 1、条件自信息和条件熵 说明： 条件自信息度量了一个随机事件xi在yj发生的条件下xi未出 现时所呈现的不确定性，也度量了事件xi在yj发生的条件下出现后所给出的信息量。 条件熵H（X/Y）是条件自信息在联合事件集合XY上的统计平均值。 定理 3.1 当且仅当X与Y 统计独立时等号成立。 说明:条件熵总是不大于无条件熵。这是合理的，因为事物间总是有联系的，了解Y后会减小X 的不确定性。 ; 1、条件自信息和条件熵 证明：根据引理2.1，有 所以， 将式 两边同乘以loge，并进行换底:; 1、条件自信息和条件熵 依条件熵和熵的定义， 式即是定理中的不等式: 当且仅当X和Y独立时，piqj=pij，所以有 这说明当且仅当X 和Y 统计独立时上式取等号。 证毕。 ; 2、互信息和联合熵 定义3.2 联合熵记作H(XY),定义为 说明： 显然H(XY) ≥0 。 根据条件熵和熵的定义, 同理 ; 2、互信息和联合熵 定理3.2 ， 当且仅当X 和Y 统计独立时等号成立。 证明 根据式 ， 又根据定理3.1 所以有 当X 和Y 统计独立时，定理3.1中等号成立,故定理3.2中等号也成立。证毕。; 2、互信息和联合熵 定义3.3 事件xi和yj之间的互信息，记作I(xi,yj)， 定义 集合X和Y之间的互信息，记作I(X,Y) ，定义为 说明： 集合间互信息是事件间互信息的统计平均值。 在互信息的定义式中，交换xi和yj ，形式不变，因而互信息具有对称性: I(xi,yj)=I(yj,xi)， I(X, Y)=I(Y, X) 。 互信息是当事件共同出现时信息的度量，如果xi和yj是统计独立的，则I(xi,yj) =0。这是合理的。 若事件集合X和Y是统计独立的，则有I(X,Y) =0。 ; 2、互信息和联合熵 定理 3.3 联合熵与互信息有以下性质： 证明： 同理有式（3-16）。将式（3-11）代入式（3-15），便有式 （3-17）。证毕。; 2、互信息和联合熵 定理 3.4 集合的互信息I (X,Y) ≥0. 当且仅当统计独立时等号成立。 证明： 由式（3-15） 又根据定理3.1有 ， 所以I (X,Y) ≥0 。 证毕。 ; 2、互信息和联合熵 互信息的物理意义 根据式（3－15）和式（3－16），将集合X看作通信系统的输入空间，将集合Y看作是通信系统的输出空间。 H(X/Y)称作含糊度，它是在观察到集Y后集合X仍保留的不确定度，这是由信道干扰而损失的信息量。 H(Y/X)称作散布度，它是已知集X时关于集合Y尚存的不确定度，也是因为信道干扰造成的结果。 互信息I(X,Y)表示在有扰信道上传送的平均信息量，它是集X的熵与含糊度之差，或是集Y的熵与散布度之差。 ; 2、互信息和联合熵 互信息的物理意义 对于无扰信道， H(X/Y) = 0， H(Y/X) = 0，于是有I(X,Y)=H(X)=H(Y)，即X 将信息量全部传给了Y。 最坏的情况是信道干扰相当严重，以致X与Y 统计独立，此时有I(X,Y)=0 ，H(Y/X)= H(Y)和H(X/Y) = H(X) ，信道未能传送任何信息。 一般情况下，在传输中将损失掉一些信息，损失掉的信息是H(X/Y) ,根据 式I(X,Y) ＝H(X)－H(X/Y