一种全文索引的压缩方法.pdfVIP

第28卷第 11期 2010年11月 情 报 科 学 Vo1．28，No．1I November。2010 一 种全文索引的压缩方法 杨炜鸿 ，张 猛 1．吉林大学 计算机科学与技术学院，吉林 长春 l30012； 2．吉林工商学院 信息工程分院，吉林 长春 130062 摘 要：全文索引广泛应用于数据库、数据压缩、模式匹配算法以及信息生物学等领域。本文研究 了后缀 自动机全文索引结构。针对后缀 自动机空间占用大的问题提 出了一种边压缩方法。该方法通 过后缀链接 函数模拟 实现 自动机的跳转边，从而删除部分跳转边。在最终的压缩结构 中，跳转边的 数量与状态数量一致 ，而在后缀 自动机中跳转边的数量是状态数量的一倍。证明了对于因子判定等 问题 ，压缩的后缀 自动机与后缀 自动机具有相同的时间复杂度。 关键词：文本索引；后缀 自动机；压缩 中图分类号 ：G350 文献标识码：A 文章编号 ：10o7—7634 2010 l1一l710一o4 A CompressedSuffixAutomatonforFullTextIndexing YANG Wei-hongL ZHANGMeng 1．CollegeofComputerScienceandTechnology,JilinUniversi~．，Changchun130012，China； 2．BranchSchoolofInformationEngineering，JilinBusinessandTechnologyCollege，Changchun 130012，China Abstract：Fulltextindexesarewidelyused inareassuchasdatabase，datacompression，pattern matchingandbioinformatics．W epresentin thispaperacompressionmethodforsuffixautomata．By deletingsometransaction edges，thesuffixautomatacan stillwork liketheoriginalsuffixautomata withoutlosingperformance．Thecompressedsuffixautomatahaveedgeswiththenumbersimilarwith thatofstateswhileintheoriginalonesthenumberofedgesistwiceofthatofstates．Wealsoproved thatusingthecompressedsuffixautomatathemembershipproblem ofrthefactorsetofagivenword canbesolvedlineartime． Keywords：fulltextindex；suffixautomaton；compression ， 效地实现全文索引的主要功能，如高效地判定一个 1背 景 指定模式是否出现在一个文本 中，给出模式在文本 中出现的次数以及枚举模式在文本 中所有的出现位 全文索引广泛地应用于数据库、数据压缩、模式 置 5【1。后缀 自动机是一种多功能数据结构，它是最小 匹配算法以及信息生物学等领域。近年来研究者提 的能够识别一个 串全部后缀的有 限状态 自动机 6【】。 出了多种全文索引结构，包括后缀树[1-31-．后缀 自动 后缀 自动机具有线性的空间复杂，而且存在在线线 机 】、后缀数组[71及压缩索引[8qo]等。这些结构可高 性构造算法。后缀 自动机在模式匹配算法应用广泛， 收稿 日期 ：2010—08—19 基金项 目：国家 自然科学基金项 目 座机电话号码 ；教育部 中央高校基本科研业务费 座机电话号码6 ；吉林省科技厅 自然基金项 目 座机电话号码 ；吉林省教育厅项 目 座机电话号码、座机电话号码 作者简介：杨炜鸿 1974一 女，吉林长春人，硕士，讲师，主要从事计算机网络研究；张 猛，本文通信作者 1974一 ，男，吉林长春 人，博士，副教授，主要从事网络安全、分布式计算研究． 1l期 一种全文索引的压缩方法 171l 许多高性能算法均采用后缀 自动机及其变体IH-16]作 [f 】。由于depth q， depth q ，因此序列 q，fail q ， 为核心数据结构 。 · fail q ，… 是有限的并终止于8【】，称这个序列为q 后缀 自动机在实现 中通常 占用较大的空问，无 的后缀链 。我们在后缀 自动机 中引入状态 上 ，定义 法应用于大规模数据。为此本文提出了～种对后缀 fail [a]w 上 ，depth 上 s