第3章节离散无失真信源编码.pptVIP

【例3.3.1】 对其进行二元编码，码长分别取{ 1，2，3，3} 此时的平均码长为 （码元/符号） 信源熵为 （bit/符号） 编码效率 信息传输率 （bit/码元） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 其L次扩展信源 的熵记为 定理：变长编码定理 (Shannon第一定理) 给定熵为H（X）的离散无记忆信源 给定有D个元素的码符号集，对扩展信源进行编码，总可以找到一种惟一可译码，使码长 满足： 记 为信源每个符号所对应的平均码字数，则上式为： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 编码效率： η是一个无量纲的数，一般情况下η1，在极限情况下η=1。 Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。 编码速率： 记 则 （bit/符号） 信息传输率： （bit/码元） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 【例3.3.2】已知离散无记忆信源 对X进行二进制等长编码 取 n=1, x1→0, x2→1, 信息传输率 编码速率 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 对X2进行二进制变长编码 Pi C x1x1 9/16 0 x1x2 3/16 10 x2x1 3/16 110 x2x2 1/16 111 (严格的无失真编码) 若进行等长编码效率η=0.96,差错率 Pe≤10-5, L≥4.13×107（有失真编码） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. ③ 对X3进行二进制变长编码 η=98.5%，R=0.985 bit/符号 ④ 对X3进行二进制变长编码 η=99.1%，R=0.991 bit/符号 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 常用变长编码 霍夫曼 （Huffman） 编码 费诺 （Fano） 编码 香农 （Shannon） 编码 §3.4 变长码的编码方法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 记离散信源 给定有D个元素的码符号集，对信源进行变长编码，将各消息概率p(xm) (m = 1, 2, …, M) 写成如下的形式： 取码长nm (m = 1, 2, …, M) 满足： 由此得香农编码法码长取值范围: 对于二进制香农编码法，有 一. 香农编码 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copy