(无失真信源编码定理).pptVIP

2004-10-28 Elements of Information Theory 信息论基础Elements ofInformation Theory 蒋青 jiangq@cqupt.edu.cn TEL第5章 无失真信源编码 5.1 编码器 5.2 等长码 5.3 渐进等分割性和e典型序列* 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理 5.1 编码器 对整个通信系统来说，要解决两个问题：信源编码和信道编码。 ?对信源来说有两个重要问题：一个是信源输出信息量的定量度量问题。这在前面信源及其信息熵章中已讨论。本章将要讨论第二个问题：如何有效地表示信源输出问题。即将重点讨论对信源进行无失真信源编码的要求、方法及理论极限，从而得出香农第一定理。 信源编码器的主要任务：完成输入消息集合与输出代码集合之间的映射。若要实现无失真编码，则这种映射必须是一一对应的、可逆的。 常用码型 1、二元码：若信道码符号集A={0，1 }，编码输出的码字都是二元码，称为二元码。 2、等长码：若一组码中所有码字的码长都相同，称为等长码。 3、变长码：若一组码中所有码字的码长Ki各不相同，即任意码字由不同长度的码符号序列组成，则称为变长码。 常用码型 4、非奇异码和奇异码：若一组分组码中的所有码字都不相同，即所有信源符号映射到不同的码字。称此分组码为非奇