第3章 离散无失真信源编码.pptVIP

§3.3变长码及变长编码定理一．变长码变长码也要求原码的任意L次扩展码也是惟一可译的。变长码分为即时码和延长码，为保证即时译码，要求变长惟一可译码采用即时码。对于变长码，要求整个码集的平均码长力求最小，此时编码效率最高。对于给定信源，使平均码长达到最小的编码方法，称为最佳编码，得到的码集称为最佳码。*第29页，共49页，星期日，2025年，2月5日二．变长编码定理平均码长极限定理（离散无记忆信源变长编码定理）：给定熵为H（X）的离散无记忆信源，及有D个元素的码符号集，则总可找到一种无失真编码方法，构成惟一可译码，其平均码长满足：定理的证明过程给了我们一种最佳编码的构造方法，即如果信源的概率分布均有的形式，那么直接取ni作为对应消息符号的码字长度，就可以得到紧致码（最佳码）。*第30页，共49页，星期日，2025年，2月5日【例3.3.1】对其进行二元编码，码长分别取{1，2，3，3}此时的平均码长为（码元/符号）信源熵为（bit/符号）编码效率信息传输率（bit/码元）*第31页，共49页，星期日，2025年，2月5日其L次扩展信源的熵记为定理：变长编码定理(Shannon第一定理)给定熵为H（X）的离散无记忆信源给定有D个元素的码符号集，对扩展信源进行编码，总可以找到一种惟一可译码，使码长满足：记为信源每个符号所对应的平均码字数，则上式为：*第32页，共49页，星期日，2025年，2月5日编码效率：η是一个无量纲的数，一般情况下η1，在极限情况下η=1。Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。编码速率：记则（bit/符号）信息传输率：（bit/码元）*第33页，共49页，星期日，2025年，2月5日【例3.3.2】已知离散无记忆信源对X进行二进制等长编码取n=1,x1→0,x2→1,信息传输率编码速率*第34页，共49页，星期日，2025年，2月5日对X2进行二进制变长编码x1x1x1x2x2x1x2x2Pi9/163/163/161/16C010110111(严格的无失真编码)若进行等长编码效率η=0.96,差错率Pe≤10-5,L≥4.13×107（有失真编码）*第35页，共49页，星期日，2025年，2月5日华北电力大学电子与通信工程系信息论与编码华北电力大学电子与通信工程系第三章离散无失真信源编码主讲：尼俊红用尽可能少的符号来传输信源消息，目的是提高传输效率，这是信源编码应考虑的问题，这章讨论在不允许失真情况下的信源编码。等长编码定理给出了等长编码条件下，其码长的下限值，变长编码定理（香农第一定理）给出了信源无失真变长编码时其码长的上、下限值。本章还介绍了三种通用信源编码方法：香农编码法、费诺编码法和霍夫曼编码法。内容提要*第2页，共49页，星期日，2025年，2月5日§3.1概述一．信源编码的模型为了实现高效、可靠的通信，引入了信源编码和信道编码。（1）提高传输效率：用尽可能少的信道传输符号来传递信源消息，目的是提高传输效率，这是信源编码主要应考虑的问题。（2）增强通信的可靠性：如何增加信号的抗干扰能力，提高传输的可靠性，这是信道编码主要考虑的问题。解决这一问题，一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的差错概率降到允许的范围之内。综上所述，提高抗干扰能力往往是以降低信息传输效率为代价的，而为了提高传输效率又往往削弱了其抗干扰能力。这样，设计者在取舍之间就要作均衡考虑。*第3页，共49页，星期日，2025年，2月5日信源编码的概念：对信源的原始符号序列按一定的数学规则映射成由码符