[经济学]第3章 离散无失真信源编码.ppt

【例3.3.1】 对其进行二元编码，码长分别取{ 1，2，3，3} 此时的平均码长为 （码元/符号） 信源熵为 （bit/符号） 编码效率 信息传输率 （bit/码元） 其L次扩展信源 的熵记为 定理：变长编码定理 (Shannon第一定理) 给定熵为H（X）的离散无记忆信源 给定有D个元素的码符号集，对扩展信源进行编码，总可以找到一种惟一可译码，使码长 满足： 记 为信源每个符号所对应的平均码字数，则上式为： 编码效率： η是一个无量纲的数，一般情况下η1，在极限情况下η=1。 Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。 编码速率： 记 则 （bit/符号） 信息传输率： （bit/码元） 【例3.3.2】已知离散无记忆信源 对X进行二进制等长编码 取 n=1, x1→0, x2→1, 信息传输率 编码速率 对X2进行二进制变长编码 111 110 10 0 C 1/16 3/16 3/16 9/16 Pi x2x2 x2x1 x1x2 x1x1 (严格的无失真编码) 若进行等长编码效率η=0.96,差错率 Pe≤10-5, L≥4.13×107（有失真编码） ③ 对X3进行二进制变长编码 η=98.5%，R=0.985 bit/符号 ④ 对X3进行二进制变长编码 η=99.1%，R=0.991 bit/符号 常用变长编码 霍夫曼 （Huffman） 编码 费诺 （Fano） 编码 香农 （Shannon） 编码 §3.4 变长码的编码方法 * 华北电力大学电子与通信工程系 第三章 离散无失真信源编码 主讲：尼俊红 * 华北电力大学电子与通信工程系 第三章 离散信源无失真编码 用尽可能少的符号来传输信源消息，目的是提高传输效率，这是信源编码应考虑的问题，这章讨论在不允许失真情况下的信源编码。等长编码定理给出了等长编码条件下，其码长的下限值，变长编码定理（香农第一定理）给出了信源无失真变长编码时其码长的上、下限值。本章还介绍了三种通用信源编码方法：香农编码法、费诺编码法和霍夫曼编码法。 内 容 提 要 §3.1 概 述 一．信源编码的模型 为了实现高效、可靠的通信，引入了信源编码和信道编码。 （1）提高传输效率： 用尽可能少的信道传输符号来传递信源消息，目的是提高传输效率，这是信源编码主要应考虑的问题。 （2）增强通信的可靠性： 如何增加信号的抗干扰能力，提高传输的可靠性，这是信道编码主要考虑的问题。解决这一问题，一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的差错概率降到允许的范围之内。 综上所述，提高抗干扰能力往往是以降低信息传输效率为代价 的，而为了提高传输效率又往往削弱了其抗干扰能力。这样，设计者在取舍之间就要作均衡考虑。 信源编码的概念：对信源的原始符号序列按一定的数学规则映射成由码符号组成的码序列的过程 。 信源编码包括两个功能： （1）将信源符号变换成适合信道传输的符号； （2）压缩信源冗余度，提高传输效率。 无失真 信源编码 信源符号可以通过编码序列无差错地恢复 （适用于离散信源的编码） 信 源 编 码 器 限失真 信源编码 信源符号不能通过编码序列无差错地恢复 (可以把差错限制在某一个限度内） 信源编码模型： 码长（n）：每个码字中所包含的码元的个数 D元码/ D进制码 码（字）集合 /码组/码 【例3.1.1】中文电报编码： 信源编码器I ：1－10000个汉字分别对应0000－9999 信源编码器II：每位十进制数对应五位二进制等重码。对应关系如下： （1→01011，2→11001，...，9→10011，0→01101） 如： 二．码的分类 信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度为n的码字。对于同一个信源，