第4章- 无失真信源编码.pptVIP

* 当平均码长达到极限值时，编码后信道的信息传输率为logr * 还可以证明，如果我们不确切知道信源的概率分布，我们用估计的概率分布去进行编码时，平均码长会加长，但是如果估计的偏差不大的话，平均码长也不会增加太多（定理4.9的内容）。 * 信源编码定理从理论上说明了编码效率接近于1，即理想编码器的存在性，代价是在实际编码时 取无限长的信源符号(L→∞)进行统一编码。 第四节 变长信源编码定理 平均码长决定了编码的信息传输率 问题：平均码长能否无限制地小？ 平均码长的界限定理 * * 平均码长的下界定理意义 采用正确的原则，合理搭配码字长度与信源符号的概率分布，可以使平均码长减小，但平均码长的下降是有限度的，其下界值是H(S)/logr。在保持即时码所必须的结构条件Kraft不等式的条件下，平均码长绝对不会小于其下界值。 当且仅当信源符号si的概率分布p(si)=(1/r)li时，且li均是正整数时，即时码的平均码长才能达到下界值，此时的编码就是最佳码。 * 思考：如果平均码长小于下界值，会怎样？ * 实际上，把下界值用换底公式变换，将对数的底变为码符号数r： * 上界定理结论：平均码长不超过其上界值[Hr(S)+1]的情况下，就可以构成即时码，但这并不意味着，超过这个上界就不能构成即时码，只是因为我们总是希望平均码长能够尽量小。 按照不等式 来确定码字长度，实际上也是一种即时码的构造方法，称之为香农码。 香农码并不是最有效的，但可以直接根据信源符号的概率分布得到对应的码字应具有的长度的确切数字，给编码带来了一定的方便。 * 平均码长界限定理的思考？ 若以一个码字对应单个信源符号来构造即时码，其平均码长的下界值就由给定的信源的熵值确定为H(S)/logr，如果想进一步降低平均码长，提高通信的有效性，就要设法改变编码对象本身的信息特征。 若信源S发出的消息由N个符号组成，则一条消息可看做信源S的N次扩展信源S的某一个符号。编码时，只是一个完整的码字不再对应单个信源符号，而是对应扩展信源的符号，能否使平均码长有所下降？ 也就是说能否用扩展信源的手段，达到数据压缩的目的 * 定理4.8 无失真变长信源编码定理（香农第一定理） 离散无记忆信源S的N次扩展信源 ，其熵为 ，并且编码器的码元符号集为A： ，对信源 进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个符号si所需要的平均码长满足 当 则得： 第四节 变长信源编码定理 * 由 得： 就是编码后每个信源符号所携带的平均信息量 第一定理可以表述如下： 若 就存在唯一可译变长码， 若 则不存在唯一可译变长码。 定义： * * 对应离散平稳有记忆信源上述结论仍然成立， H(S)= H∞； M阶马尔可夫信源: H(S)= Hm+1 结论：当平均码长达到极限值时，编码后信道的信息传输率为logr，也即是信道达到信道容量 * 无失真信源编码定理是香农信息论中非常重要的一个定理，也叫香农第一定理。 要做到无失真的信源编码，信源每个符号所需要的平均码元数就是信源的熵值，如果小于这个值，则唯一可译码不存在，可见，熵是无失真信源编码的极限值。 通过对扩展信源进行编码，当N趋向于无穷时，平均码长可以趋进该极限值。（可以通过扩展信源的方式 ） 又因为要进行无失真传输，在无失真信源编码后，必须接入无噪信道，所以，无失真信源编码定理，也可以称为无噪信道编码定理。 无失真信源编码定理小结 * 变长编码效率： 码的剩余度： 在二元无噪无损信道中： 在二元无噪无损信道中信息传输率： 编码效率与码的剩余度 为了衡量编码效果，引进编码效率。 * 例： 其熵为：H(S)=0.811。我们令s1=0，s2=1，这时平均码长 ，编码的效率为 。 二次扩展信源进行编码： 即时码 s1s1 9/16 0 s1s2 3/16 10 s2s1 3/16 110 s2s2 1/16 111 可见编码效率是提高的 * 小结 克拉夫特不等式和唯一可译码的判别准则告诉我们寻找的码是满足唯一可译性的。 树图法-----构造唯一可译码 平均码长界限定理和变长编码定理------最佳码的界定 * 第五节 费诺编码 费诺编码也是一种常见的概率匹配编码方法。 编码步骤如下： 将信源符号按其概率大小依次排列，令 p(x1)≥ p(x2)≥…≥ p(xn) 将依次排列的信源符号按概率值分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。