第二章信源及信源的熵.pptVIP

第二章 信源及信源熵 第一节 信源的描述和分类 第一节 信源的描述和分类 补充内容：随机过程 4、马尔可夫信源 复习：马尔可夫信源 （10）马尔可夫链信源举例： 第二节 离散信源熵和互信息 H(XY)＝H(X)＋H(Y|X) H(XY)＝H(Y)＋H(X|Y) 3、互信息 后验概率与先验概率比值的对数 : 若干扰足够大，X与Y相互独立，H(X|Y)=H(X),则 I(X;Y)=0就收不到任何关于X的信息.全损离散信道 (5) 从信道的角度理解互信息： 例题2-10 加深对互信息的理解 （7）I(X;Y)是关于P(xi)和P(yj|xi)的凸函数 4、数据处理中信息的变化（互信息应用） 经过两级处理，信息的变化： 5、熵的性质 复习 与作业讲评 第三节 离散序列信源的熵 一、离散无记忆信源的序列熵 例题2-11 3、离散有记忆平稳信源的几个结论 当固定L，取K?∞时，上式第1项为0，有 HL+k(X) ≤ H(XL|X1X2…XL-1)=H(XL|XL-1) 又因为 H(XL|XL-1) ≤ HL(X) (条件熵 H(XL|XL-1) 在HL(X) 和HL+k(X) 之间） 所以，当 L?∞ 时，若HL+k(X)的极限存在， 则 HL(X) = HL+k(X) 得： HL(X) = H(XL|X1X2…XL-1) 证毕。 第四节 连续信源的熵和互信息 一、单符号连续信源的熵 2、连续信源的熵 当 n?∞ 即 Δx ?0 时，得连续信源的熵： 上式中的第二项为无穷大，丢掉该项，将第一项定义为连 续信源熵: 4、连续信源的联合熵、条件熵、互信息量 二、波形信源的熵 三、 连续信源最大熵定理 离散信源最大熵定理回顾 限平均功率最大熵定理 第五节 冗余度 三、冗余的定义 四、冗余的压缩 H(X|Y) H(Y|X) I(X;Y) H(X) H(Y) H(X,Y) 互信息量与熵之间的关系图（总结） H(X,Y)= H(X)＋H(Y/X) =H(Y)＋H(X|Y) H(X)≥ H(X|Y)，H(Y) ≥ H(Y|X) I(X;Y)= H(X)- H(X|Y)= H(Y)- H(Y|X) = H(X)＋H(Y)-H (XY) H(XY)≤ H(X)＋H(Y) 如果X与Y互相独立，则I(X:Y)＝0 此时：H(XY)＝H(X)+H(Y) H(X)＝H(X|Y) H(Y)＝H(Y|X) 自信息量 自信息量I(xi)的性质： 条件自信息量 自信息量和不确定度：数量相等、单位相同，但含义不同 。 I(xi)表示符号发出前的不确定度；又表示符号发出后所携 带的信息量。 2、离散信源的熵 物理含义： 信源输出前的平均不确定度；信源输出后平均每 个消息提供的信息量；表明和区分信源中的每个符号需要的 信息量。 条件熵： 条件自信息量I(xi|yj)在联合符号集(X,Y)上的联合概率加权统 计平均值。 联合熵：联合符号集(X,Y)上的每对符号(xi,yj) 的联合自信息 量I(xi,yj)的联合概率加权统计平均值。 H(X,Y)＝H(X)＋H(Y|X) ; H(X,Y)＝H(Y)＋H(X|Y) H(X,Y)与H(X)及H(X|Y) 的关系（理解、证明和计算） 3、互信息 平均互信息：互信息量I(xi;yj)在（X,Y) 上的统计平均值 物理意义： 条件熵H(X|Y)：接收端收到消息后, 仍存在的不确定度(疑义度) 消除的不确定度或接收者获得的信息量为：H(X)- H(X|Y)。即互 信息I(X;Y)= H(X)- H(X|Y) 信道的角度互信息I(X;Y)就是信道中传输的信息量。由于信道 中的干扰，仍存在对信源X的不确定性，丢失的信息量H(X|Y) ，收到的信息就是 H(X)-H(X|Y)=I(X;Y)。 噪声熵H(Y|X) ：假设信道中的噪声为n，发送符号为x, 则接收符号为y=x+n。已知发送符号x,要确定接收符号y，就需 要知道噪声的大小。确定噪声所需要的平均信息量就是H(Y|X), 叫作噪声熵。正像区分X中的每个符号所需要的平均信息量就 是信源的熵H(X). 4、数据处理中信息的变化（互信息应用） 5、熵的性质 非负性，对称性，确定性，香农辅助定理，最大熵定理 条件熵小于无条件熵；两个条件下的熵小于1个