[工学]李梅 李亦农 《信息论基础教程》 课件教案 第二章 信息的度量.ppt

表示在已知 的情况下 ,Y的平均不确定性。 对于不同的 ， 是变化的。因此， 是一个随机变量。 3. 联合熵和条件熵（续2） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 3. 联合熵和条件熵（续3） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 例6： 已知 联合概率分布如下，求：H(XY)，H(X), H(Y), H(Y|X), H(X|Y)。 1) 解： 3. 联合熵和条件熵（续4） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 3. 联合熵和条件熵（续5） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 H(X)=2.066 2) 3) H(Y)=1.856 4) 3. 联合熵和条件熵（续6） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 5) 3. 联合熵和条件熵（续7） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 3. 联合熵和条件熵（续8） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 各种熵之间的关系 H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) H(X|Y)?H(X)，H(Y|X)?H(Y) H(XY)?H(X)+H(Y) 若X与Y统计独立，则H(XY)=H(X)+H(Y) 可推广到多个随机变量的情况： 3. 联合熵和条件熵（续9） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 引入事件的重量，度量事件的重要性或主观价值。 加权熵定义为： 加权熵 3. 联合熵和条件熵（续10） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 3. 联合熵和条件熵（续11） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 例7：信源 X={ A,B,C}, 信源 Y={D,E,F,G}, 已知条件概率分布和X的概率分布，求联合熵 和条件熵。 1/6 1/6 1/6 1/2 1/6 C 1/3 3/10 1/5 1/5 3/10 B 1/2 1/4 1/4 1/4 1/4 A P(X) G F E D P(Y|X) 3. 联合熵和条件熵（续12） 自信息和互信息 平均互信息 平均自信息 第二章：信息的度量 1/36 1/36 1/12 1/36 C 91/360 79/360 33/120 91/360 P(Y) 1/10 1/15 1/15 1/10 B 1/8 1/8 1/8 1/8 A G F E D P(XY) 解： H(XY) = 3.417 H(X) =1.46 H(Y)=1.997 H(Y|X)=1.95 H(X|Y)= H(XY) - H(Y)=1.42 第二章：信息的度量 一、自信息和互信息 二、平均自信息 三、平均互信息 1. 平均互信息的概念 2. 平均互信息的性质 3. 数据处理定理 第二章：信息的度量 1. 平均互信息的概念 信宿 信道 信源 噪声 X Y xi yj I(xi; yj) p(xi yj) 平均交互信息量、 交互熵 I(X;Y) p(yj | xi) 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 平均互信息的概念（续1） 平均自信息 平均互信息 自信息和互信息 2. 平均互信息的性质 对称性：I(X;Y)=I(Y;X) 非负性： 极值性： I(X;Y) ? min{H(X),H(Y)} 4. 平均互信息和各类熵的关系: I(X;Y)=H(X)-H(X|Y)=H(Y)?H(Y|X)=H(X)+H(Y)?H(XY) X, Y 互相独立时 5. I(X;Y)是信源概率分布p(xi )的上凸函数和信道传递概率p(yj|xi )的下凸函数。 第二章：信息的度量 平均自信息 平均互信息 自信息和互信息 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，在平均意义上观察问题，所以平均互信息不会出现负值。 第二章：信息的度量 平均自信息 平均互信息 自信息和互信息 2. 平均互信息的性质（续1） H(XY) H(X) H(Y) H(X|Y) H(Y|X) I(X ; Y)=0 第二章：信息的度量 平均自信息 平均互信息 自信息和互信息 2. 平均互信息的性质（续2） 符号 图示 表1 X、Y之间有依赖关系时 第二章：信息的度量 平均自信息 平均互信息 自信息和互信息 2. 平均互信息的性质（续3） 符号 图示 表2 X、Y相互独立