信息传输基础06.ppt

异字头码生成规律 按照Kraft不等式的要求，对n个消息 分配了编码长度 ，即可用二进制码树来生成异字头码，生成规律是： 从根出发开始生出2枝； 每一枝用一个码元 来表示 枝尽节来，节外生枝； 在第 级端节点（ 级节点共有 个）上，配置信号 单元 从根开始直奔对应的端节点，沿途（联枝）所遇到的码元 所构成的符号，即为对应于该信号单元 的码字 。 主要内容 1 基本原理 2 霍夫曼编码 3 游程编码 4 算术编码 5 基于字典的编码 6 哥伦布编码 §4.2 霍夫曼编码 1925-1999 戴维·霍夫曼，数学家，计算机科学领域的先驱。霍夫曼一生中作出的重要贡献有：有限状态机，开关切换电路，综合程序，信号设计等。 霍夫曼在MIT一直工作到1967年。之后他转入加州大学的Santa Cruz分校，是该校计算机科学系的创始人，1970—1973年任系主任。1994年霍夫曼退休。 霍夫曼码的编码定理 【定理4.3】 在变长编码中，若各码字长度严格按照所对应符号出现概率的大小逆序排序，则其平均长度为最小。 按上述定理可得霍夫曼码的编码步骤： 1）将信源符号出现概率按照减小的顺序排列； 2）将两个最小的概率进行组合相加，并继续这一步骤，始终将较高的概率分支放在上部，直到概率达到1.0为止； 对每对组合中的上边一个指定为1，下边一个指定为0（霍相反，对上边一个指定为0，对下边一个指定为1）； 画出由每个信源符号概率到1.0处的路径，记下沿路径的0和1； 对于每个信源符号都写出1、0序列，则从右到左就得到了霍夫曼码 例4-6 对一个7符号信源 ，其霍夫曼编码如图4-6 另例 关键在每一步，总是将最低概率的两个符号构成一对 两种霍夫曼编码的异同 对一个5符号信源 ，其霍夫曼编码如下图所示 请使用霍夫曼码进行编码 采用两种方式进行编码； 求其平均码长； 两种霍夫曼编码的异同 引入码字长度偏离平均码长的方差的概念： 方差小的编码方法得到的码字结构更紧凑，码的变化小， 因此，在使用Huffman编码时，当缩减信源的概率分布重新排列时，应使合并得来的概率和，尽量处于最高位置，这样可使合并的元素重复编码次数减少，减低码字长度对于平均码长的偏离方差，减小码字序列长度的变化 §4.2.2 信源编码基本定理 例4-7：对于二值图像，如传真机，输出非“黑”即“白”，有 ，其概率与所传文件有关，假设对某页文件，有 不考虑信号间的关联时，其信息熵为： 此时霍夫曼编码无压缩作用 基本途径之四： 如果把X延长后在对K元组（K为延长长度）进行编码，那么只要K足够大，则代表每消息单元X的平均符号个数 可以任意趋向于小界 【定理4.4（信源编码的基本定理）】设 如果要求码字单义可译，则 也叫作无失真编码的基本定理 以上是根据信源模型——概率分布构造Huffman码表的过程，在Huffman码表构成后，信源的编码和解码过程就简单了。 对一个信源输出序列，每达到一个符号，从Huffman码表中找到相应的码字，并输出到码流中。这个过程连续地执行，得到一个输出序列的Huffamn编码。 解码时，由于Huffman码为异字头码，因此它是唯一可译码； 解码中有一个缓冲器，用于存放从已编码的码流中收到的比特，一开始缓冲器是空的，每收到的比特，将它按次序压于缓冲器，并将缓冲器中已形成的码字与Huffman码表中每一个码字比较，如果找到一个相同的，则输出该码字对应的信源符号，并将缓冲器刷新成空，否则，继续读取码流中的下一个比特； * 4 统计编码 统计编码 保存在计算机的存储介质（磁盘、光盘等）中的文本、数值、图片、声音、影像等信息，统称为计算机文件 对于计算机文件一般都不允许在压缩过程中丢失信息，也就是说对于这类文件的压缩必须是“透明”的 利用消息或消息序列出现概率的分布特性，使概率和码字长度匹配，叫做统计编码或概率匹配编码，统称为熵编码。 对离散无记忆平稳信源，必须： ① 准确得到字符概率 ； ② 对各字符的编码长度都达到它的自信息量。 冗余度 信源X的冗余度（redundancy）为 离散无记忆信源的冗余度隐含在信源符号的非等概分布之中。 数据压缩是要去除或减少冗余度，所以只要信源不是等概分布，就存在数据压缩的可能。这是统计编码的基础。 4.1 基本原理 计算机文件的冗余度类型： 1. 字符分布 2. 字符重复 3. 高使用率模式