信息论第三章课件.ppt

* * 第3章????????? 离散信源无失真编码 第3章 离散信源无失真编码 内容提要 用尽可能少的符号来传输信源消息，目的是提高传输效率，这是信源编码应考虑的问题，这章讨论在不允许失真情况下的信源编码。等长编码定理给出了等长编码条件下，其码长的下限值，变长编码定理（香农第一定理）给出了信源无失真变长编码时其码长的上、下限值。本章还介绍了三种通用信源编码方法：香农编码法、Fano编码法和霍夫曼编码法。 3．1 绪论 为了实现高质量、高效率的通信，引入了信源编码和信道编码。信源编码和信道编码主要需要解决以下两个问题。 提高传输效率 增强通信的可靠性 （1）提高传输效率，用尽可能少的信道传输符号来传递信源消息，目的是提高传输效率，这是信源编码主要应考虑的问题。这里又分两种情况讨论，即允许接收信号有一定的失真或不允许失真。 综上所述，提高抗干扰能力往往是以降低信息传输效率为代价的，而为了提高传输效率又往往削弱了其抗干扰能力。这样，设计者在取舍之间就要作均衡考虑。 （2）?增强通信的可靠性 如何增加信号的抗干扰能力，提高传输的可靠性，这是信道编码主要考虑的问题。解决这一问题，一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的差错概率降到允许的范围之内。 信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。 {a1, a2, …, aK}为信源符号集，序列中每一个符号uml都取自信源符号集。 {b1 ，b2 ，…，bD}是适合信道传输的D个符号，用作信源编码器的编码符号。编码输出码字cm = cm1 cm2 … cmn， c mk∈{b1 ，b2 ，…，bD} k = 1, 2 , …, n ，n表示码字长度，简称码长 信源符号 {a1,a2, …, aK} 信道符号（码符号）{b1, b2, …, bD} 图3-1 信源编码器模型 信源 信源编码器 一般来说，信源编码可归纳为如图3-1所示的模型。 消息 ui = ui1 ui2 … uiL 码字ci = ci1 ci2 … cin 信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度为n的码字。对于同一个信源，编码方法是多种的。 【例3.3】 用{u1 ，u2 ，u3，u4}表示信源的四个消息，码符号集为{0,1}，表3-1列出了该信源的几种不同编码。 表3-1 同一信源的几种不同编码 信源消息 各消息概率 码1 码2 码3 码4 u1 q(u1) 00 00 0 1 u2 q(u2) 11 01 1 10 u3 q(u3) 10 10 00 100 u4 q(u4) 11 11 11 1000 3.1.1 码的分类 3.变长码 若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称码C为变长码，表3-1中列出的码3、码4 就是变长码。 2.等长码 在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相同，则称这组码C为等长码，表3-1中列出的码1、码2 就码长n = 2等长码。 一般，可以将码简单的分成如下几类： 1.二元码 若码符号集为{0，1}，则码字就是二元序列，称为二元码,二元码通过二进制信道传输，这是数字通信和计算机通信中最常见的一种码，表3-1列出的4种码都是二元码。 5.非奇异码 从信源消息到码字的影射是一一对应的，每一个不同的信源消息都用不同的码字对其编码，例表3-1中的码2、码3和码4都是非奇异码。 4.奇异码 对奇异码来说，从信源消息到码字的影射不是一一对应的。例表3-1中的码1，信源消息u2和u4都用码字11对其编码，因此这种码就是奇异码，奇异码不具备惟一可译性。 扩展信源 信源编码器 信源符号 {a1,a2, …, aK} 信道符号（码符号）{b1, b2, …, bD} 消息 u1 …uN = (u11 u12 … u1L) … (uN1 uN2 … uNL) N次扩展码字 c1 …cN = (c11 c12 … c1n) … (cN1 cN2 … cNn) 图3-2 N次扩展信源编码器模型 原码的N次扩展码是将信源作N次扩展得到的新信源符号序列u（N）=u1 …uN = (u11 u12 … u1L) … (uN1 uN2 … uNL)