信息理论基础第二章信息的度量.pptVIP

本章需要掌握的概念: 离散熵（平均自信息量）,涉及自信息量、条件自信息量、条件熵、联合熵、加权熵 平均互信息量，涉及互信息量、条件互信息量、平均条件互信息量 (b)在联合集ＸＹ上，I(Y; ai)=0,当且仅当Y集合中的各个bj 都与事件ai相互独立时，等号成立 证明： 表明：从平均意义上讲，从信源X中的任一个具体符号ai中总可以获取一点关于信宿Y的信息量。只有当信源X的具体符号ai与信宿Y统计独立时，从ai中才获取不到关于信宿Y的任何信息量 --------表示已知一随机变量的取值后所提供的有关另一随机变量的信息量 四.平均互信息 1. 定义 从信宿Y获取的关于信源X的平均信息量： 从信源X获取的关于信宿Y的平均信息量： 平均互信息从总体上表示信道每传递一个符号所传递的平均信息量。 思考:H(X|Y)与I(X;Y)有什么不同? 条件熵:从一个随机变量可得另一个随机变量发生带来的信息 问: 利用条件熵能否得到两个随机变量间的共同信息？ 问:Y提供给X的信息量是多少？ ●已知Y，X的不确定度为H(X|Y) ●未知Y，X的不确定度为H(X) H(X)-H(X|Y) 问：H(X)-H(X|Y)与I(X;Y)是否相等呢？ 思考: I(X;Y)与I(Y;X)是否相等? 2. 性质 (1)对称性I(X;Y)=I(Y;X) 证明: 结论: I(X;Y)和I(Y;X)是随机变量X和Y之间相互提供的平均 信息量，把它们称为平均互信息是完全正确的 证明： (2)非负性I(X;Y)≥0 非负性说明：虽然对于信源X和信宿Y的两个特定具体的符号之间的互信息来说，有可能出现负值，但从平均的意义来说，信道每传递一个符号，总能传递一定的信息量，至少为零，决不会出现负值。 (3)平均互信息与各种熵的关系 证明: ①I(X;Y)=H(X)-H(X|Y) 证明: ②I(X;Y)=H(Y)-H(Y|X) 证明: ③I(X;Y)=H(X)+H(Y)-H(XY) H（X） H（Y） H（X|Y） H（Y|X） I（X；Y） H（XY） (4)极值性I(X;Y) ≤ H(X) I(X;Y) ≤ H(Y) 证明：∵ I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X) 且有:H(X|Y) ≥0 H(Y|X) ≥0 ∴ I(X;Y) ≤ H(X) I(X;Y) ≤ H(Y) 极值性说明：两个信源之间含有的相同信息不可能大于任何一个信源自己携带的信息 当X和Y互相独立时: I(X;Y)=0 当X和Y之间有确定的函数关系时： X唯一确定Y: H(Y|X)=0，I(X;Y)=H(Y) Y唯一确定X: H(X|Y)=0，I(X;Y)=H(X) 结论: 当X和Y有确定的函数关系时平均互信息退化成为熵 发送的信息:H(X) 损失的信息:H(X|Y) 通过信道传递到接收端的关于X的信息:I(X;Y) 信源X 有扰信道 信宿Y 例2-8 问:通信中发送的信息是多少? 信道中损失的信息是多少? X通过信道传递了多少信息给信宿？ 如果X=Y，说明信道无干扰,则I(X;Y)=H(X) 如果X与Y相互独立，说明干扰很大,I(X;Y)=0 八. 各种熵之间的关系 联合熵与离散熵、条件熵的关系 同理： 当X、Y相互独立有： 2. 联合熵与离散熵的关系 当X和Y相互独立时,等式成立 证明： 利用对于任意实数x0,有 则： 3. 条件熵与离散熵的关系 证明： 当X和Y有确定的函数关系，且X可完全确定Y，或Y完全确定X，则 则有 总结：各种熵之间的关系(利用集合概念) X Y H(X) X Y H(XY) X Y H(X|Y) X Y H(Y|X) 设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为 试求: H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y) 例2-4 解：由全概率公式可知： 则从已知可求： H(Y|X) = H(XY)-H(X) = 2.665-2.066 = 0.599bit/symbol H(X|Y) = H(XY)-H(Y) = 2.665-1.856 = 0.809bit/symbol 例2-5：设A、B两地的天气情况分别如表所示： 1/4 1/8 1/8