《香农公式.pptVIP

信息论与编码  香农信息论 理论体系 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. * 香农信息论 三个基本概念 信源熵、信道容量、率失真函数，都是临界值 三个极限定理 无失真信源编码定理、限失真信源编码定理、信道编码定理，都是存在性定理 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Shannon’s编码定理体系 (The Shannon’s Coding Theorem System) 信 源 Source 信 道 Channel 信 宿 Destination X Y Objective existence 客观存在性 H(X) Possibility 最大可能性 C Practical requirement 实际需求性 R(D) 编码极限定理——Coding Limited Theorem Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 名称 符号 关 系 图 示 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 交 互 熵 各种熵之间的关系 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 将定理3.3推广到L次扩展信源--- 香农第一定理：变长编码定理 定理3.4 给定熵为H(X)的离散无记忆信源 定理3.3是定理3.4在L=1时的特例 (3-23) 其L次扩展信源的熵记为H(X) 给定有D个元素的码符号集，对扩展信源编码，总可以找到一种唯一可译码，使码长 满足： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Shannon第一定理的物理意义： 信源编码时，应使编码后的码集中各码字尽可能等概分布，若将该码集看成一个新的信源，此时新信源所含信息量最大。 这是信息传输速率 能达到的极限值，对应于等概分布。 由定理3.4的证明过程： 信息传输速率 信源符号对应的平均码字数 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Shannon第一定理的物理意义： 信源编码时，应使编码后的码集中各码字尽可能等概分布，若将该码集看成一个新的信源，此时新信源所含信息量最大。 最大化的去除统计冗余性 可以作为一种编码方法的指导： 对离散信源进行适当变换，码符号信源(信道的输入)尽可能等概率分布,所含信息量达到最大,从而使信道的信息传输率R达到信道容量C,实现信源与信道理想的统计匹配。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 同样用编码效率来衡量编码情况是否理想。用比值定义： 回顾等长编码的编码效率： 该式中 即：信源每个符号所对应的平均码字数，因此等长编码和变长编码这两种情况的编码效率一致。 (3-26) 是理想情况 Evaluation only. Created with Aspo