[信息与通信]6 无失真信源编码.ppt

6 无失真信源编码 单义可译码 平均码长 无失真信源编码定理 Huffman编码 单义可译码 编码器相关概念 非延长码及其构成 单义可译定理 编码器相关概念 编码器相关概念 编码器将信源符号集中的符号si（或者长为N的信源符号序列）变换成由aj（j=1,2,…,r） 组成的长度为li的一一对应的序列。即： 编码器相关概念 几个定义： 二元码 ：若码符号集为{0，1}，所有码字都是一些二元序列，则称为二元码.二元码是数字通信和计算机系统中最常用的一种码. 等长码（定长码）：码中所有码字的码长都相同 变长码：码中所有码字的码长各不相同 奇异码与非奇异码：若一组码中所有码字都不相同，则为非奇异码，反之，若一组码中有相同的码字则为奇异码 唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字 即时码和非即时码：如果收到一个完整的码字以后，就可以立即译码，则叫做即时码;反之为非即时码.即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异前缀码. 编码器相关概念 单义可译码 编码器相关概念 非延长码及其构成 单义可译定理 非延长码及其构成 非延长码的树图表示 　树图：根、枝、点 树图与码字： r进制树图：每个节点可以有r个分枝 节点：分枝的端点 节点的阶数：节点通过树枝的数目 终点：不再有分枝的节点 码字：每个终点代表一个码字 　非满树码：变长码 　满树码：等长码 编码器相关概念 非延长码及其构成 单义可译定理 单义可译定理 　单义可译码存在定理：若码元个数为r，码字个数为q，码长分别为ni(i=1,2,…,q)，则存在单义可译码的充要条件是： 注意：克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据（可以排除，不 能肯定）. 6 无失真信源编码 单义可译码 平均码长 无失真信源编码定理 Huffman编码 平均码长 平均码长与有效性 平均码长的界限定理 平均码长与有效性 平均码长 平均码长与有效性 平均码长的界限定理 平均码长的界限定理 平均码长的界限定理 6 无失真信源编码 单义可译码 平均码长 无失真信源编码定理 Huffman编码 无失真信源编码定理 信源扩展与数据压缩 无失真信源编码定理 信源扩展与数据压缩 无失真信源编码定理 信源扩展与数据压缩 无失真信源编码定理 无失真信源编码定理 6 无失真信源编码 单义可译码 平均码长 无失真信源编码定理 Huffman编码 Huffman编码 最佳编码 Huffman编码方法 最佳编码 最佳编码：对于S，将其编码为二进制的单义码，若此代码的平均长度不大于其他任何方法的平均长度，则称此代码为最佳代码，与之对应的编码方法称为最佳编码方法。 香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可以通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。但定理中并没有告诉我们如何来构造这种码。 Huffman编码 最佳编码 Huffman编码 Huffman编码 Huffman编码的步骤 1. 将q个信源符号按概率分布p(si)的大小,以递减次序由大到小,自上而下排成一列; 2. 对处于最下面的概率最小的r个信源符号, 各分配一个码元a1, a2, …, ar.将处于最下面的概率最小的r个信源符号合并成一个新符号，并用这r个最小概率之和作为新符号的概率。结果得到一个只包含(q-r+1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示; 3. 将缩减信源S1的符号仍按概率从大到小的顺序排列，重复上面的步骤，得到只含((q-r+1)-r+1)个符号的缩减信源S2 ; 4. 重复上面的步骤,直至缩减信源的符号数小于或等于r为止，此时所剩符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号对应的码字。 例 设信源共有7个符号组成，其概率如表所示，求其 Huffman码。 Huffman编码 特点： 编码不是唯一的 保证了概率大的符号对应于短码，概率小的符号对应于长码，而且短码得到充分利用 每次缩减信源的最后二个码字总是最后一位码元不同，前面各位码元相同（二元码情况） 每次缩减信源的最长两个码字具有相同码长 后三个特点保证了所得到Huffman码一定是最佳码 Huffman编码 哈夫曼编码得到的码不是唯一的，但最后的平均码长一定是一样的。在这种情况下，怎么样来判断一个码的好坏呢？ 引入码字长度ni偏离平均码长 的方差σ2，即 方差越小，说明各个码的长度都比较接近平均长度，这样编码器和解码器就可以比较简单，这样的码就认为是好码 因此，在哈夫曼编码的过程中，当缩减信源的概率分布重新