第二章__信息的度量重点分析.ppt

本章需要掌握的概念: 离散熵（平均自信息量）,涉及自信息量、条件自信息量、条件熵、联合熵、加权熵 平均互信息量，涉及互信息量、条件互信息量、平均条件互信息量 (b)在联合集ＸＹ上，I(Y; ai)=0,当且仅当Y集合中的各个bj 都与事件ai相互独立时，等号成立 证明： 表明：从平均意义上讲，从信源X中的任一个具体符号ai中总可以获取一点关于信宿Y的信息量。只有当信源X的具体符号ai与信宿Y统计独立时，从ai中才获取不到关于信宿Y的任何信息量 --------表示已知一随机变量的取值后所提供的有关另一随机变量的信息量 四.平均互信息 1. 定义 从信宿Y获取的关于信源X的平均信息量： 从信源X获取的关于信宿Y的平均信息量： 平均互信息从总体上表示信道每传递一个符号所传递的平均信息量。 思考:H(X|Y)与I(X;Y)有什么不同? 条件熵:从一个随机变量可得另一个随机变量发生带来的信息 问: 利用条件熵能否得到两个随机变量间的共同信息？ 问:Y提供给X的信息量是多少？ ●已知Y，X的不确定度为H(X|Y) ●未知Y，X的不确定度为H(X) H(X)-H(X|Y) 问：H(X)-H(X|Y)与I(X;Y)是否相等呢？ 思考: I(X;Y)与I(Y;X)是否相等? 2. 性质 (1)对称性I(X;Y)=I(Y;X) 证明: 结论: I(X;Y)和I(Y;X)是随机变量