中文文本压缩的LZW算法.pdfVIP

112 2014 ，50（3） Computer Engineering and Applications 计算机工程与应用 中文文本压缩的LZW 算法 1，2 1 1 陈庆辉 ，陈小松 ，韩德良 1 ，2 1 1 CHEN Qinghui ，CHEN Xiaosong ，HAN Deliang 1.中南大学 数学与统计学院，长沙 410083 2.中南大学 商学院，长沙 410083 1.School of Mathematics and Statistics, Central South University, Changsha 410083, China 2.School of Business, Central South University, Changsha 410083, China CHEN Qinghui ，CHEN Xiaosong ，HAN Deliang. Compression algorithm LZW on Chinese text. Computer Engi- neering and Applications, 2014, 50（3）：112-116. Abstract ：This paper presents a compression algorithm for Chinese text which is improved from LZW algorithm. By modify- ing LZW algorithm ’s dictionary size, basic set and the output way of dictionary code, the improved algorithm LZW_CH demonstrates about 19% higher compression ratio than LZW19 ’s with almost the same execution speed. LZW_CH doesn ’t need any pre-processing work for the compressing data. As a single compression algorithm, LZW_CH ’s compression with long Chinese text has closed or exceeded the professional compression utility WinRAR. Key words ：Chinese text; data compression; compression algorithm; encoding; LZW 摘 要：结合中文文本中的汉字编码方式、大字符集以及重复字串不长三个不同于英文文本的结构特点对LZW 算法从 读取数据方式、基本码集和字典码值输出方式三方面进行了修改。改进后的算法对中文文本的压缩比平均比LZW19 提高了19%且压缩和解压速度与后者相当，其对较长的中文文本的平均压缩比已接近或者超过了压缩软件WinRAR 。 关键词：中文文本；数据压缩；压缩算法；编码；LZW 文献标志码：A 中图分类号：TP311 doi ：10.3778/j.issn.1002-8331.1205-0383 1 引言 华强[10]等人针对汉字的编码以及大字符集的特点，从算 LZW 算法是1984 年Terry A.Welch[1]在字典压缩算 法读取数据的方式和修改算法的基本码集的方法对算 法LZ78[2]基础上改进的一种通用压缩算法。其较快的 法进行了改进。改进后的算法对中文文本的压缩比有 压缩速度和对各种数据文件的良好适应性使得其很快 一定的提高，但仍远低于LZW 算法对英文文本的压缩 成为LZ 系列压缩算法[1-6] 中最优秀的压缩算法之一。但 比。本文将提出一种新的中文文本压缩算法。这种算 文本数据，特别是以中文为主的文本数据，有着不同于 法是在现有的LZW 中文文本压缩算法的基础上进行改 其他类型数据的结构