第2章–2信息论与编码.pptVIP

2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 自信息量 设离散信源X，其概率空间为 自信息量 自信息量 离散信源熵 离散信源熵H(X) 信源熵 无条件熵 2.2.3 互信息 设有两个随机事件X和Y ,X取值于信源发出的离散符号集合, Y取值于信宿收到的离散符号集合 互信息 如果信道是无噪的,当信源发出消息xi后,信宿必能准确无误地收到该消息,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。 一般而言,信道中总是存在着噪声和干扰,信源发出消息xi,通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 。 信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。 信源发出消息xi的概率p(xi) 称为先验概率。 什么叫信源X的先验概率p(xi)? 由于信宿事先不知道信源在某一时刻发出的是哪一个符号, 所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合, 以及它们的概率分布，即预知信源X的先验概率p(xi)。 互信息 例某地二月份天气 构成的信源为： 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不确定度各减少到1bit 。 例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， 得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 条件熵 联合熵 H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 H(X)： 表示接收到输出符号Y前关于输入变量X的平均不确定度。 H(X|Y)： 表示接收到输出符号Y 后关于输入变量X的平均不确定度。 平均互信息 平均互信息 通信系统中,若发端的符号为X ,收端的符号为Y 如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0 一般情况： H(X |Y) ＜H(X),即了解Y后对X的不确定度将减少 通过信道传输消除了一些不确定性,获得了一定的信息。 平均互信息 互信息量为后验概率与先验概率比值的对数 : 说明: 在通信系统中，若发端的符号是X，而收端的符号是Y，I（X；Y）就是在接收端收到Y后所能获得的关于X的信息。 若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息. 若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X）。 例假设一条电线上串联了8个灯泡x1, x2，…x8如图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。 第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4 尚存在的不确定性 第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2 尚存在的不确定性： 互信息量 在有3个变量的情况下,符号