基于单词的Huffman压缩方法.PDFVIP

第２２卷　第４期　　　　　　　　　　　　　 桂 林 工 学 院 学 报 　　　　　　　　　　　　Ｖｏｌ．２２Ｎｏ．４ ２００２年 １０月　　　　　　　　　ＪＯＵＲＮＡＬＯＦＧＵＩＬＩＮＩＮＳＴＩＴＵＴＥＯＦＴＥＣＨＮＯＬＯＧＹ　　　　　　　　Ｏｃｔ２００２  文章编号：１００６－５４４Ｘ（２００２）０４－０４２５－０５ 基于单词的Ｈｕｆｆｍａｎ压缩方法 １ ２ １ 陈基漓 ，严小卫 ，杨　祥 （１．桂林工学院 电子与计算机系，广西 桂林　５４１００４；２．广西师范大学 计算机科学系，广西 桂林　５４１００４） 摘　要：基于单词的文本压缩算法是一种新型的算法，它与传统文本压缩算法的主要区别 是以单词取代单个字符作为处理对象．介绍了基于单词的Ｈｕｆｆｍａｎ压缩算法，给出了多叉 Ｈｕｆｆｍａｎ树的构造算法 ，用一个例子进行了说明，比较了两种不同宽度的Ｈｕｆｆｍａｎ编码树． 宽度为２５６的算法使用整个字节进行编码，而宽度为１２８的算法只使用一个字节中的７位进 行编码，故前者具有更好的压缩率，并通过实验进行了说明． 关键词：基于单词的压缩算法；Ｈｕｆｆｍａｎ编码；Ｈｕｆｆｍａｎ树 中图分类号：ＴＰ３９１；ＴＰ２７４　　　　　　　　　文献标识码：Ａ① 　　传统的文本压缩算法多以字符作为基本处理 是在压缩过程中每次处理的是一个单词． 单位，基于字符的压缩方法具有简单容易实现的 　　本文介绍了基于单词的Ｈｕｆｆｍａｎ编码压缩方 特点．首先由于出现在文本中的单个字符的个数 法，指出基于单词的Ｈｕｆｆｍａｎ压缩算法适合采用 是有限的，基于字符的压缩方法中使用的一些辅 按字节运算的编码模式，在二叉 Ｈｕｆｆｍａｎ树的构 助结构就相对简单而且便于维护，如 Ｈｕｆｆｍａｎ压 造算法基础上给出了多叉 Ｈｕｆｆｍａｎ树的构造算法， 缩方法中构造的Ｈｕｆｆｍａｎ树，ＬＺＷ方法中构造的 并以一个四叉树的构造举例说明了多叉 Ｈｕｆｆｍａｎ 字典．其次在基于字符的压缩方法中，每次处理 树的构造算法，最后比较了两种不同宽度的Ｈｕｆｆ 的都是数据源中的下一个字符，直接从数据源中 ｍａｎ编码树． 读取即可，不涉及任何其它的操作．由于以上原 １　基于单词的Ｈｕｆｆｍａｎ编码压缩方法 因，如果压缩的目的主要是为了减少数据源的存 储空间，以及传输的数据，基于字符的压缩算法 　　算法的实现与基于字符的Ｈｕｆｆｍａｎ编码方式 是一种很好的选择．对于自然语言的文本来说， 是一样的，也可以采用静态和动态两种方式．常 从检索、理解等各个方面来考虑，以单词作为基 规的Ｈｕｆｆｍａｎ编码方法采用的是按位运算的方式， 本单位比以字符作为基本单位更符合人们的使用 以存储空间的最小单位 “位”来作为编码的最小 习惯以及自然语言本身的特点，而且以单词作为 单位，每个字符根据编码确定所需要的位数，这 基本元素考虑，还可以使用语言中单词之间的相 种方式的好处是能够充分利用存储空间．以位运 关性，单词相对字符而言，更具有倾向性［１］．在 算为基础的Ｈｕｆｆｍａｎ编码正好是二叉树的最好实 这样的背景下，对于以自然语言为基础的文本进 现途径，每一位上的 “０”、“１”两种状态恰好对 行压缩，更好的选择是以单词替代字符作为每次 应一个结点的两个分支．由于每个字符的编码长 处理的一个基本单位．基于单词的压缩方法算法 度是不固定的，在解码或查找的过程中，需要进 的主要思想与基于字符的压缩方法是相同的，只 行位运算来获得不同字符的编码，需要频繁地进 ① 收稿日期：２００２－０６－１９；修订日期：２００２－０８－１９ 基金项目：中国科学院计算技术研究所智能信息开放实验室开放课题 （ＩＩＰ２００１－４） 作者简介：陈基漓 （１９７２－），女，广西兴安人，讲师，硕士，主要研究方向：信息检索及数据库． ４２６ 桂　林　工　学　院　学　报　　　　　　　　　　　　　　　２００２年 行移位和位屏蔽运算，在运算上要花费一定的时 以压缩效率还是很可观的，特别是当文本中较长 间，使得解码的效率降低．基于单词的压缩方法 的单词出现的次数比