信息传输基础07.ppt

CCITT的T.4建议: 推荐8幅标准传真样张为统计依据,根据各种RL的出现概率编出霍夫曼码表，称为改进型霍夫曼编码(MHC) 。 * * 根据国际规定，一张A4幅面文章（210mm×297mm）有1188或2376条扫描线，按每条扫描线有1728个像素的扫描分辨率（相当于垂直4或8线/mm，水平8点/mm）计算，一张A4文件约有2.05M像素/公文纸或4.1M像素/公文纸，从节省传送时间或存储空间看，必须进行数据压缩。在此我们仅讨论目前在文件传真中最常采用的一种方法——修正Huffman编码（MH编码），它实际上是游程编码和Huffman编码的结合。 结尾码R，是针对游程长度为0～63的情况，直接按游程统计特性制定对应的Huffman码表；而构造码是对长度为64的倍数的游程长度进行编码的， 4 统计编码 主要内容 1 基本原理 2 霍夫曼编码 3 游程编码 4 算术编码 5 基于字典的编码 6 哥伦布编码 §4.2 霍夫曼编码 1925-1999 戴维·霍夫曼，数学家，计算机科学领域的先驱。霍夫曼一生中作出的重要贡献有：有限状态机，开关切换电路，综合程序，信号设计等。 霍夫曼在MIT一直工作到1967年。之后他转入加州大学的Santa Cruz分校，是该校计算机科学系的创始人，1970—1973年任系主任。1994年霍夫曼退休。 霍夫曼码的编码定理 【定理4.3】 在变长编码中，若各码字长度严格按照所对应符号出现概率的大小逆序排序，则其平均长度为最小。 按上述定理可得霍夫曼码的编码步骤： 1）将信源符号出现概率按照减小的顺序排列； 2）将两个最小的概率进行组合相加，并继续这一步骤，始终将较高的概率分支放在上部，直到概率达到1.0为止； 对每对组合中的上边一个指定为1，下边一个指定为0（霍相反，对上边一个指定为0，对下边一个指定为1）； 画出由每个信源符号概率到1.0处的路径，记下沿路径的0和1； 对于每个信源符号都写出1、0序列，则从右到左就得到了霍夫曼码 例4-6 对一个7符号信源 ，其霍夫曼编码如图4-6 另例 关键在每一步，总是将最低概率的两个符号构成一对 两种霍夫曼编码的异同 对一个5符号信源 ，其霍夫曼编码如下图所示 请使用霍夫曼码进行编码 采用两种方式进行编码； 求其平均码长； 两种霍夫曼编码的异同 引入码字长度偏离平均码长的方差的概念： 方差小的编码方法得到的码字结构更紧凑，码的变化小， 因此，在使用Huffman编码时，当缩减信源的概率分布重新排列时，应使合并得来的概率和，尽量处于最高位置，这样可使合并的元素重复编码次数减少，减低码字长度对于平均码长的偏离方差，减小码字序列长度的变化 霍夫曼码的编法并不唯一 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的，所以可以得到不同的码字。 不同的码元分配，得到的具体码字不同，但是平均码长不变 §4.2.2 信源编码基本定理 例4-7：对于二值图像，如传真机，输出非“黑”即“白”，有 ，其概率与所传文件有关，假设对某页文件，有 不考虑信号间的关联时，其信息熵为： 此时霍夫曼编码无压缩作用 基本途径之四： 如果把X延长后在对K元组（K为延长长度）进行编码，那么只要K足够大，则代表每消息单元X的平均符号个数 可以任意趋向于小界 【定理4.4（信源编码的基本定理）】设 如果要求码字单义可译，则 也叫作无失真编码的基本定理 例4-8 把例4-7中的码元延长到X2，此时可以获得 图4.7 2单元延长信号的最佳编码 P(x1, x1) = P(x1)P( x1) =0.81 P(x1, x2) = P(x1)P( x2) =0.09 P(x2, x1) = P(x2)P( x1) =0.09 P(x2, x2) = P(x2)P( x2) =0.01 0.10 0.19 1.00 1 1 1 0 0 0 W 2 0 10 110 111 W 2平均长度为: l2 =0.81+0.09×2+0.09×3+0.01×3=1.29 bit/pel W 2的每一个元素代表两个消息单元,因此平均每一个消息单元的符号个数是: l2 /2 = 1.29/2 = 0.645 bit/pel η2 =H(X)/ l2=72.7 % 编码效率提高到: 图4.8 3单元延长信号的最佳编码 P(x1, x1, x1) =0.729 P(x1, x1, x2) =0.081 P(x1, x2, x1) =0.081 P(x2, x1, x1) =0.081 0.010 0.109 1