[工学]信息论第三章.ppt

PCN SS Lab of USTC 第一节 编码的定义 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径 是什么? 信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 编码定理证明： （1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵。 （2）达到这目标的途径，就是使概率与码长匹配。 第一节 编码的定义 什么分组码？ 设信源消息为符号序列Xi， ， 序列中的每个符号取自于符号集A， 。 设: 信源输出的序列长度为1，即信源符号集 信源概率空间为： 二元信道的信道基本符号集为{0，1}。若将信 源X通过一个二元信道传输，就必须把信源符号xi变 换成由0，1符号组成的码符号序列，即编码。可用 不同的码符号序列，如表3－1-1所示。 不同的码符号序列，如表3-1-1所示。 分组码的一些直观属性 （1）奇异码和非奇异码 若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。 如表3-1-2中的码1是奇异码，码2是非奇异码。 （2）唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。 例如{0，10，11}是一种唯一可译码。因为任意一串有限长码序列，如100111000，只能被分割成10，0，11，10，0，0。任何其他分割法都会产生一些非定义的码字。显然，奇异码不是唯一可译码，而非奇异码中有非唯一可译码和唯一可译码。表3-1-2中码3是唯一可译码，但码2不是唯一可译码。 唯一可译码中又分为非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。 表3-1-2中码3是非即时码，而码4是即时码。码4中只要接收到符号1就表示该码字已完整，可以立即译码。 即时码：只要收到符号就表示该码字已完整，可以立即译码。 即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。 在延长码中，有的码是唯一可译的，主要取决于码的总体结构，如表3-1-2中码3的延长码就是唯一可译的。 分组码的一些直观属性 码 通常可用码树来表示各码字的构成 A 唯一可译码存在的充分和必要条件 用树的概念可导出唯一可译码存在的充分和必要条件，即各码字的长度Ki应符合克劳夫特不等式： (3-1-1) 式中，m是进制数，n是信源符号数。 例3-1-1：设二进制码树中X (a1， a2 ， a3 ， a4 )，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理： 无失真信源编码定理要研究的内容 若信源输出符号序列的长度 ，即 变换成由KL个符号组成的码序列（码字) 由于Yk可取m种可能值，即平均每个符号输出的最大信息量为logm，KL长码字的最大信息量为KLlogm。用该码字表示L长的信源序列,则送出一个信源符号所需要的信息率平均为: 其中 是Y所能编成的码字的个数。 信息率最小，就是找到一种编码方式使 最小。 第二节 定长编码定理 K是定值，K= KL 且惟一可译码 定长编码定理 由L个符号组成的、每个符号的熵为HL（X）的无记忆平稳信源符号序列