[工学]信息论与编码第5章-2.pptVIP

信源编码 ;5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介;编码的目的;信源编码： 以提高通信有效性为目的的编码。 通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。 信道编码： 是以提高信息传输的可靠性为目的的编码。 通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。 密码： 是以提高通信系统的安全性为目的的编码。 通常通过加密和解密来实现。从信息论的观点出发 “加密”可视为增熵的过程,“解密”可视为减熵的过程。;信源编码理论是信息论的一个重要分支,其理论基础是信源编码的两个定理。 无失真信源编码定理： 是离散信源/数字信号编码的基础； 限失真信源编码定理： 是连续信源/模拟信号编码的基础。 信源编码的分类： 离散信源编码： 独立信源编码,可做到无失真编码； 连续信源编码： 独立信源编码,只能做到限失真信源编码； 相关信源编码： 非独立信源编码。;5.2 无失真信源编码;;C2 的效率比 C1高;编码效率;5.2.3 最佳变长编码;香农编码;二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, 　　　　p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki 1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，;例有一单符号离散无记忆信源 对该信源编二进制香农码。其编码过程如表所示;香农码的平均码长;费诺编码;;平均码长;例有一单符号离散无记忆信源 对该信源编二进制费诺码,编码过程如表:;信源熵为 H(X)=2.75(比特/符号) 平均码长为;哈夫曼编码;哈夫曼编码的步骤如下： ⑴ 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) ⑵取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。 ⑶ 对重排后的两个概率最小符号重复步骤⑵的过程。 ⑷不断继续上述过???,直到最后两个符号配以0和1为止。 ⑸ 从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字。;例5-7 设单符号离散无记忆信源如下,要求对信源编二进制哈夫曼码。编码过程如下表;熵;哈夫曼的编法并不惟一。 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的,所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性,即能得到可分离码字。 不同的码元分配,得到的具体码字不同,但码长Ki不变,平均码长也不变,所以没有本质区别； 缩减信源时,若合并后的新符号概率与其他符号概率相等,从编码方法上来说,这几个符号的次序可任意排列,编出的码都是正确的,但得到的码字不相同。 不同的编法得到的码字长度Ki也不尽相同。;例5-8 单符号离散无记忆信源; ;单符号信源编二进制哈夫曼码,编码效率主要决定于信源熵和平均码长之比。 对相同的信源编码,其熵是一样的,采用不同的编法,得到的平均码长可能不同。 平均码长越短,编码效率就越高。;讨论：哪种方法更好？ 定义码字长度的方差σ2：;哈夫曼编码;m进制哈夫曼编码;例:对如下单符号离散无记忆信源编三进制哈夫曼码;3进制哈夫曼编码;33;平均码长为; 结论 香农码、费诺码、哈夫曼码都考虑了信源的统计特性,使经常出现的信源符号对应较短的码字,使信源的平均码长缩短,从而实现了对信源的压缩； 香农码有系统的、惟一的编码方法,但在很多情况下编码效率不是很高； 费诺码和哈夫曼码的编码方法都不惟一； 费诺码比较适合于对分组概率相等或接近的信源编码,费诺码也可以编m进制码,但m越大,信源的符号数越多,可能的编码方案就越多,编码过程就越复杂,有时短码未必能得到充分利用； 哈夫曼码对信源的统计特性没有特殊要求,编码效率比较高,对编码设备的要求也比较简单,因此综合性能优于香农码和费诺码。;习题;游程编码对象和性质;游程编码;游程编码