信源熵 第说二章—4.pptVIP

信源熵 第二章—4 2.2 单符号离散信源 2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵 I、信息量 1、自信息量；2、联合自信息量；3、条件自信息量 II、互信息量和条件互信息量 1、互信息量；2、互信息的性质；3、条件互信息量 III、信源熵 1、信源熵；2、条件熵；3、联合熵 2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系 信源熵 离散信源熵H(X) (平均不确定度/平均信息量/平均自信息量) 定义： 信源的平均不确定度H(X)为信源中各个符号 不确定度的数学期望，即： 信源熵 信源熵 2.2 单符号离散信源 2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵 I、信息量 1、自信息量；2、联合自信息量；3、条件自信息量 II、互信息量和条件互信息量 1、互信息量；2、互信息的性质；3、条件互信息量 III、信源熵 1、信源熵；2、条件熵；3、联合熵 2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系 熵函数的性质 1. 非负性 H(X)＝H(p1，p2，…，pn)≥0 式中等号只有在pi =1时成立。 2. 对称性 H(p1，p2，…，pn) = H(p2，p1，…，pn) 例如：下列信源的熵都是相等的 熵函数的性质 3. 确定性 H(X)＝H(p1，p2，…，pn)≥0 只要信源符号中有一个符号出现概率为1，信源熵就等于零。 4. 极值性(香农辅助定理) 对任意两个消息数相同的信源 熵函数的性质 5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi＝1/M)熵最大。 假设一条电线上串联了8个灯泡x1, x2，…x8，如 图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假 设只有一个灯泡已损坏，致使串联灯泡都不能点 亮。 第1次测量后，可知4个灯泡是好的，另4个灯泡中有一个是坏的，这时后验概率p(xi|y) =1/4。 尚存在的不确定性 第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2 尚存在的不确定性： 方法2：逐个检查 第1次: x1坏，获得信息量=3bit,可能性较小1/8； x1通，其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit 获得信息量=3-2.8073=0.1927bit，可能性较大7/8 第1次所获得的平均信息量: 平均互信息 平均互信息 通信系统中,若发端的符号为X，收端的符号为Y 如果是一一对应信道，接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0 一般情况： H(X |Y) ＜H(X)，即了解Y后对X 的不确定度的将减少 通过信道传输消除了一些不确定性，获得了一定的信息。 平均互信息 平均互信息与各类熵的关系 熵只是平均不确定性的描述; 不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈 维拉图 小 结 第二章—4 小 结 回顾信源熵的定义、条件熵的定义、联合熵的定义。 对习题进行讲解，进一步地加深对信源熵的理解。 根据单符号离散信源的数学模型，从整体的角度出发，得出平均互信息。 本次课结束！ * * 回顾——单符号离散信源的信源熵 单位为比特/符号或比特/符号序列 条件熵 联合自信息量 2.2.3 信源熵的基本性质和定理 6.条件熵小于无条件熵 未测量前,8个灯泡都有可能损坏,它们损坏的先验概率: p(xi)=1/8。 这时存在的不确定性： 例2-9: 所获得的信息量就是测量前后不确定性减少的量, 第1次测量获得的信息量： 第2次测量获得的信息量： 第3次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于零。 第3次测量获得的信息量： 1 第3次测量w 1/2 1/2 第2次测量z 1/4 1/4 1/4 1/4 第1次测量y 后验概率 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 先验概率 x8 x7 x6 x5 x4 x3 x2 x1 信源消息 要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的，至少要获得3个bit的信息量 “对半开” 第1次所获得的平均信息量: 2.2.4 平均互信息量 平均互信息定义 信息= 先验不确定性－后验不确定性 = 不确定性减少的量 Y未知，X 的不确定度为H(X) Y已知，X 的不确定度变为H(X |Y) 有扰信道 干扰源 信源X 信宿Y 平均互信息的另一种定义方法：