第5章1高.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第5章　信源编码 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理、限失真编码定理 5.1 编码的定义 将信源消息分成若干组，即符号序列xi: xi＝(xi1 ， xi2 ， … ， xil，… ， xiL)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi 若信源输出符号序列长度L＝1 信源符号集 A=(a1，a2，…，an) 定长码：固定长度的码，码中所有码字的长度都相同 变长码：可变长度码，码中的码字长短不一 （1）奇异码和非奇异码 （2）唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字。 唯一可译码：非即时码和即时码（非延长码） 非即时码：接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。 码树： 唯一可译码存在的充分和必要条件：各码字的长度Ki 应符合克劳夫特不等式： 例：设二进制码树中X (a1， a2 ， a3 ， a4 )，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理： 5.2 无失真信源编码 X＝(X1，X2，…Xl，…XL)，Xl?{a1，a2，…，ai，…，an} 所谓信息率最小，就是找到一种编码方式使 最小。 定长编码定理说明： 在连续信源的情况下，由于信源的信息量趋于无限，不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。 单个符号变长编码定理： 若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其平均符号码长满足不等式： （1）将信源消息符号按其出现的概率大小依次排列 例5-4 设信源共7个符号消息，概率和累加概率如下表所示。 （1）将信源消息符号按其出现的概率大小依次排列： （4）如此重复，直至每个组只剩下一个信源符号为止。 （5）信源符号所对应的码字即为费诺码。 （1）将信源消息符号按其出现的概率大小依次排列。 （2）取两个概率最小的字母分别配以0和1两个码元，并 将这两个概率相加作为一个新字母的概率，与未分 配的二进码元的字母重新排队。 0.20 0.20 0.26 0.35 0.39 0.61 1.0 0.19 0.19 0.20 0.26 0.35 0.39 0.18 0.18 0.19 0.20 0.26 0.17 0.17 0.18 0.19 0.15 0.15 0.17 0.10 0.11 0.01 哈夫曼编码非唯一： 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 5.3 限失真信源编码定理 信息率失真函数给出了失真小于D时所必须具有的最小 信息率R(D)； 设离散无记忆信源 X 的信息率失真函数 R(D)，则当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D＋?，?为任意小的正数。 反之，若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。 限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。 因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。 实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。 5.4 常用信源编码方法简介 在二元序列中： 连0段称为0游程，连1段称为1游程，0游程和1游程交替出现。 如下多元序列： x1，x2，…，xm1，y，y，…，y，x m1+1，xm1+2，…x m2，y，y，… 可以