第5章节[无失真信源编码定理].pptVIP

2004-10-28 Elements of Information Theory 信息论基础Elements ofInformation Theory 蒋青 jiangq@cqupt.edu.cn TEL第5章 无失真信源编码 5.1 编码器 5.2 等长码 5.3 渐进等分割性和e典型序列* 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理 5.1 编码器 对整个通信系统来说，要解决两个问题：信源编码和信道编码。 ?对信源来说有两个重要问题：一个是信源输出信息量的定量度量问题。这在前面信源及其信息熵章中已讨论。本章将要讨论第二个问题：如何有效地表示信源输出问题。即将重点讨论对信源进行无失真信源编码的要求、方法及理论极限，从而得出香农第一定理。 信源编码器的主要任务：完成输入消息集合与输出代码集合之间的映射。若要实现无失真编码，则这种映射必须是一一对应的、可逆的。 常用码型 1、二元码：若信道码符号集A={0，1 }，编码输出的码字都是二元码，称为二元码。 2、等长码：若一组码中所有码字的码长都相同，称为等长码。 3、变长码：若一组码中所有码字的码长Ki各不相同，即任意码字由不同长度的码符号序列组成，则称为变长码。 常用码型 4、非奇异码和奇异码：若一组分组码中的所有码字都不相同，即所有信源符号映射到不同的码字。称此分组码为非奇异码。否则为奇异码 5、同价码和非同价码：若每个码符号的传输时间都相同则称为同价码。否则为非同价码 5.5 变长码 变长码也必须是唯一可译码，才能实现无失真编码。 定义：在唯一可译变长码中，有一类码，它在译码时，无须参考后续的码符号就能立即作出判断，译成对应的信源符号，则这类码称为即时码 5.6变长信源编码定理 设信源 有n个离散符号，编码后的码字为 其码长分别为 对于唯一可译码来说，信源符号与码字一一对应，所以有 则这个码的平均长度为 码的平均长度是每个信源符号平均需用的码元数。平均每个码元携带的信息量即编码后信道的信息传输率为 若要信息传输效率高，需寻求使平均码长最短的码，即紧致码，或称最佳码。 平均码长可能达到的理论极限 定理：若一离散无记忆信源 X 具的熵为H(X)，并有 r 个码元的码符号，则总可以找到一种无失真编码方法，构成唯一可译码，使其平均码长满足 无失真变长信源编码定理 编码效率： 码的剩余度： 二元无噪无损信道中信息传输率 例：有一离散无记忆信源 其熵为H(X)=0.811比特/信源符号。 用二元码构造一个非续长码：x1?0，x2?1 这时平均码长 ，编码效率 信道信息传输率为 对该信源的二次扩展信源进行编码如下 这个码的平均长度 得信源中每一个单个符号的平均码长 编码效率 信道信息传输率为 同样可得 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 香农第一定理 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论课件 通信与信息基础教学部 信息论课件 通信与信息基础教学部 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-