[工学]第4章_无失真信源编码-zuoye.pdf

第四章 无失真信源编码 第一节 引言 第二节 码的分类 第三节 等长信源编码定理 第四节 变长信源编码定理 第五节 香农编码 第六节 费诺编码 第七节 霍夫曼编码 第一节 引言  信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的 冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数 或信源的码率。即同样多的信息用较少的码率传送，使单位时间内 传送的平均信息量增加，从而提高通信的有效性。  信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增 加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信 源编码正好相反。  密码：是以提高通信系统的安全性为目的的编码。通常通过加密和 解密来实现。从信息论的观点出发，“加密”可视为增熵的过程， “解密”可视为减熵的过程。 第一节 引言  信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个 定理。从编码结果使信源消息的信息量有无损失角度  无失真信源编码定理：香农第一定理 是离散信源/数字信号编码的基础；  限失真信源编码定理：香农第三定理 是连续信源/模拟信号编码的基础。  信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。  离散信源编码：独立信源编码，可做到无失真编码；  连续信源编码：独立信源编码，只能做到限失真信源编码；  相关信源编码：非独立信源编码。 第二节 码的分类 编码器可以看作这样一个系统，它的输入端为原始信 S {S ,S ,...,S } 源S，其符号集为 1 2 q ；而信道所能传输的符号集 为X {x ,x ,...,x }编码器的功能是用符号集X 中的元素，将 1 2 r S wi 原始信源的符号 变换为相应的码字符号 ，所以编码器 i 输出端的符号集为C :{W ,W ,...,W } 1 2 q S {S ,S ,...,S } C : {W 1 , W 2 , ..., W q } 1 2 q 编码器 X {x ,x ,...,x } 1 2 r w w 称为码字， 为码字 的码元个数，称为码字 的码字 i L i w i i 长度，简称码长。 第二节 码的分类 1、二元码： 码符号集X={0,1}，如果要将信源通过二元信道传输，必 须将信源编成二元码，这也是最常用的一种码。 2、等长码： 若一组码中所有码字的长度都相同，称为等长码。 3、变长码： 若一组码中所有码字的长度各不相同，称为变长码。 4、非奇异码：若一组码中所