基于多模式匹配的数据压缩算法研究-计算机应用技术专业论文.docxVIP

IIII IIII I I II I I I III I I I II III ＼1 924927 A Dissertation Submitted to Guangdong University of Technology for the Master Degree of Engineering Science Data Compression Research based on the Multiple Pattern Matching Algorithm Candidate：Wei Xing Supervisor：Prof．Wu Weimin May，2011 Faculty of Computer Guangdong University of Technology Guangzhou 51 0006．P．R．China r r 摘 摘 要 摘 要 近年来，日常需要处理和传输的数据越来越多，数据压缩也变得越来越重要， 而其中文本是数据的一个重要组成部分，因此对文本数据的压缩研究就成为了压缩 领域研究的一个重点。基于字典的压缩算法是文本压缩的一种典型的算法，对其展 开研究对文本数据的压缩有着十分重要的意义。本文在对基于字典的压缩算法分析 的基础上，选择LZSS算法展开了研究，主要工作如下： 首先，为了提高文件的压缩率，对文本文件的无损压缩进行了研究，回顾了经 典的无损压缩算法，并阐述了主要压缩方法的原理和特点。实现了三种基于字典的 经典压缩算法并在此基础上进行了分析。LZSS算法是LZ77算法的改进，压缩率虽 然不高，但因其算法简单、解压速度快，在实际应用中得到了广泛的认可。因此选 择了LZSS算法进行研究，目的是在保持高解压速度的基础上进一步提高其压缩率。 其次，在LZSS的基础上，本文进一步利用目前流行的多模式匹配算法—— Wu．Manber算法，改进了字符串匹配的过程，提出了一种新的算法——WM LZSS 算法。 算法的基本思想是利用文本的最近相关性，针对LZSS算法在压缩过程中存在 查找回溯的问题，采用多级匹配、Hash散列和跳跃查找的思想，使用多模式匹配技 术在更大范围内进行查找。一次针对多个模式进行匹配，避免了不必要的匹配，加 速了匹配的过程，有利于查找到更长的匹配信息，获得更高的压缩率。 本文详细介绍了基于多模式匹配的压缩算法的核心过程。即利用每一次匹配的 结果，动态建立shm表和hash表，得到模式库。然后，从文件中读取固定大小的 数据块，进行多模式匹配预处理，针对模式库中的所有的模式进行查找，得到匹配 数据(其中包括匹配位置和匹配长度等)。利用得到的匹配数据输出编码并完善树 结构。 最后，选取了通用的文本压缩测试文件作为测试数据，从文件的类型、文件的 大小、最小模式大小的选择等方面对压缩率进行了充分的测试，并与相关的压缩算 法进行了横向比较。实验证明，改进后算法的压缩率有了较明显的提高，同时该算 法还具有解压快速、算法简单的特点，特别适合在一次压缩多次解压的情况下使用。 关键词：无损数据压缩；LZSS算法；多模式匹配；WM多模式匹配；预处理 广东工业大学硕士学位论文ABSTRACT 广东工业大学硕士学位论文 ABSTRACT In recent years，data compression becomes more and more important，because larger number of data has to be handled and transferred in our daily life．Text data is an important component of the processed data，SO the study of text compression has become a focus in data compression field．A compression algorithm based on AB AB STRACT This paper introduces the key process of compression algorithm based on multiple matching．It is to build shift table and hash table using one matching result， and get pattern library．And then，read fixed size data blocks from the file，do multi-pattern matching preprocessing，and search all the patte