第5讲_无失真信源编码.pdfVIP

信息论基础 14-15学年 第二学期 春季 DUT 信息论基础 第五章 无失真信源编码 DUT 信息论基础 本章内容提要  5.1 编码器  5.2 等长码  5.4 等长信源编码定理  5.5 变长吗  5.6 变长信源编码定理  5.7香农编码  5.8费诺编码  5.9霍夫曼编码 DUT 信息论基础 3 5.1 编码器 信源编码：以提高通信有效性为目的的编码。通常通过压 缩信源的冗余度来实现。采用的一般方法是压缩每个信源 符号的平均比特数或信源的码率。即同样多的信息用较少 的码率传送，使单位时间内传送的平均信息量增加，从而 提高通信的有效性。 信道编码：是以提高信息传输的可靠性为目的的编码。通 常通过增加信源的冗余度来实现。采用的一般方法是增大 码率/带宽。与信源编码正好相反。 密码：是以提高通信系统的安全性为目的的编码。通常通 过加密和解密来实现。从信息论的观点出发，“加密”可 视为增熵的过程，“解密”可视为减熵的过程。 DUT 信息论基础 4 5.1 编码器  信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。 从编码结果使信源消息的信息量有无损失角度 无失真信源编码定理：香农第一定理 是离散信源/数字信号编码的基础； 限失真信源编码定理：香农第三定理 是连续信源/模拟信号编码的基础。  信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。 DUT 信息论基础 5 5.1 编码器 编码器可以看作这样一个系统，它的输入端为原始信 源S，其符号集为S {S ,S ,...,S } ；而信道所能传输的符号集 1 2 q 为 X {x ,x ,...,x } 编码器的功能是用符号集X 中的元素， 1 2 r S w 将原始信源的符号 变换为相应的码字符号 ，所以编码 i i 器输出端的符号集为C :{W ,W ,...,W } 1 2 q S {S ,S ,...,S } C :{W ,W ,...,W } 1 2 q 编码器 1 2 q X {x ,x ,...,x }