第二章信源与信源的熵.pptVIP

复 习 第二章 信源及信源熵 第一节 信源的描述和分类 第一节 信源的描述和分类 补充内容：随机过程 4、马尔可夫信源 复习：马尔可夫信源 （10）马尔可夫链信源举例： 第二节 离散信源熵和互信息 H(XY)＝H(X)＋H(Y|X) H(XY)＝H(Y)＋H(X|Y) 3、互信息 后验概率与先验概率比值的对数 : 若干扰足够大，X与Y相互独立，H(X|Y)=H(X),则 I(X;Y)=0就收不到任何关于X的信息.全损离散信道 (5) 从信道的角度理解互信息： 例题2-10 加深对互信息的理解 （7）I(X;Y)是关于P(xi)和P(yj|xi)的凸函数 4、数据处理中信息的变化（互信息应用） 经过两级处理，信息的变化： 5、熵的性质 复习 与作业讲评 第三节 离散序列信源的熵 一、离散无记忆信源的序列熵 例题2-11 3、离散有记忆平稳信源的几个结论 当固定L，取K?∞时，上式第1项为0，有 HL+k(X) ≤ H(XL|X1X2…XL-1)=H(XL|XL-1) 又因为 H(XL|XL-1) ≤ HL(X) (条件熵 H(XL|XL-1) 在HL(X) 和HL+k(X) 之间） 所以，当 L?∞ 时，若HL+k(X)的极限存在， 则 HL(X) = HL+k(X) 得： HL(X) = H(XL|X1X2…XL-1) 证毕。 第四节 连续信源的熵和互信息 一、单符号连续信源的熵 2、连续信源的熵 当 n?∞ 即 Δx ?0 时，得连续信源的熵： 上式中的第二项为无穷大，丢掉该项，将第一项定义为连 续信源熵: 4、连续信源的联合熵、条件熵、互信息量 二、波形信源的熵 三、 连续信源最大熵定理 离散信源最大熵定理回顾 限平均功率最大熵定理 第五节 冗余度 三、冗余的定义 四、冗余的压缩 一、冗余度的概念（多余度、剩余度） 表示给定信源在实际发出消息时所包含的多余信息。 例如电报: 母亲病愈。修改为：母病愈。二者表达了相同的意思。 哪封电报的自信息量大？ 第1封。有多余信息 如果一个消息所包含的符号比表达这个 消息所需要的符号多，那么这样的消息就存在冗余度。 二、冗余度产生的原因 一是信源符号间的相关性，二是信源符号分布的不均匀性 1、符号间的相关性 上例中第一封电报的自信息量大于第二封，但平均每个符号的信息量小于第二封（因为HL(X)是L的非增函数 ）。显然平均每个符号的信息量越大，冗余就越小。 正是符号间的相关性，使得平均每个符号的信息量减少。相关性越强，记忆长度越大，平均每个符号的信息量就越小，冗余就越大。 2、符号分布的不均匀性 由上分析知道，平均符号熵越小，冗余越大；平均符号熵越大，冗余越小；如果平均符号熵达到最大值（是什么？），那么就没有冗余。由于符号分布的不均匀性也会使得平均符号熵达不到最大值，而产生冗余。 相关性越强，各维条件熵就越小，极限熵就越小，熵的相对率就越小，冗余度就越大。反之，冗余度就越小。 信源输出存在着冗余信息，可以想法去除冗余，减少表达消息所使用的符号数（往往是用其它的符号来重新表示信源输出的符号，即信源编码），达到压缩目的。如果用于存储，节省存储空间；如果用于通信，提高传输效率。 作业：21 24 25 33（2）（3） （5）最大熵定理： 离散无记忆信源输出M个不同的符号，当且仅当各个符号出现的概率相等(Pi=1/M)时，信源的熵最大，logM.此时各个符号的不确定性最大。 （6）条件熵小于无条件熵；两个条件下的熵小于1个条件下的熵 H(Y|X)≤H(Y) ∵I(X;Y)=H(Y)-H(Y|X)≥0 H(Z|X,Y)≤H(Z|Y) H(X,Y)≤H(X)+H(Y) 自己能证明吗？ 何时取等号？ H(X|Y) H(Y|X) I(X;Y) H(X) H(Y) H(X,Y) 互信息量与熵之间的关系图（总结） H(X,Y)= H(X)＋H(Y/X) =H(Y)＋H(X|Y) H(X)≥ H(X|Y)，H(Y) ≥ H(Y|X) I(X;Y)= H(X)- H(X|Y)= H(Y)- H(Y|X) = H(X)＋H(Y)-H (XY) H(XY)≤ H(X)＋H(Y) 如果X与Y互相独立，则I(X:Y)＝0 此时：H(XY)＝H(X)+H(Y)