压缩的全文自索引算法研究.pdfVIP

第３１ 卷第３期 计算机应用与软件 Ｖｏｌ３１ Ｎｏ．３ ２０１４年３ 月 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１４ 压缩的全文自索引算法研究 路 炜１，２ 刘燕兵 王春露 刘庆云 郭 莉３ １ ３ ３ １ （北京邮电大学计算机学院 北京１００８７６） ２ （河北师范大学附属民族学院 河北石家庄０５００９１） ３ （中国科学院信息工程研究所信息内容安全技术国家工程实验室 北京１０００９３） 摘 要 针对传统全文索引技术空间浪费过大等问题，介绍压缩的全文自索引技术。该技术仅利用索引数据即可完成子串搜索， 并且可以从索引数据无损地还原出原始的文本信息，是一种无需存储原始文本信息的“自索引”技术，从而大大节省存储空间。综 述现有的十几种典型的压缩的全文自索引算法的基本思想及其实现，并在多种数据集上对这些算法进行综合的测试评估。实验结 果表明，压缩的全文自索引技术有效地节省了空间开销，实用价值较高。 关键词 全文索引 数据压缩 自索引 后缀数组 ＢＷＴ变换 中图分类号 ＴＰ３９１ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０３．００４ ＲＥＳＥＡＲＣＨＯＮＣＯＭＰＲＥＳＳＥＤＦＵＬＬＴＥＸＴＳＥＬＦＩＮＤＥＸＡＬＧＯＲＩＴＨＭＳ ＬｕＷｅｉ１，２ ＬｉｕＹａｎｂｉｎｇ ＷａｎｇＣｈｕｎｌｕ ＬｉｕＱｉｎｇｙｕｎ ＧｕｏＬｉ３ １ ３ ３ １ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６，Ｃｈｉｎａ） ２ （ＣｏｌｌｅｇｅｏｆＮａｔｉｏｎａｌｉｔｉｅｓ，ＨｅｂｅｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｓｈｉｊｉａｚｈｕａｎｇ０５００９１，Ｈｅｂｅｉ，Ｃｈｉｎａ） ３ （ＮａｔｉｏｎａｌＥｎｇｉｎｅｅｒｉｎｇＬａｂｏｒａｔｏｒｙｆｏｒＩｎｆｏｒｍａｔｉｏｎＳｅｃｕｒｉｔｙＴｅｃｈｎｏｌｏｇｉｅｓ，ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００９３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｔｒａｄｉｔｉｏｎａｌｆｕｌｌｔｅｘｔｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙｗａｓｔｅｓｈｕｇｅｓｐａｃｅ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｗｅｉｎｔｒｏｄｕｃｅｔｈｅｃｏｍｐｒｅｓｓｅｄｆｕｌｌｔｅｘｔ ｓｅｌｆｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙ．Ｂｙｏｎｌｙｅｍｐｌｏｙｉｎｇｉｎｄｅｘｄａｔａｉｔｃａｎｉｍｐｌｅｍｅｎｔｔｈｅｓｕｂｓｔｒｉｎｇｓｅａｒｃｈ．Ｉｎａｄｄｉｔｉｏｎ，ｉｔｃａｎａｌｓｏｒｅｓｔｏｒｅ ｏｒｉｇｉｎａｌｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎｌｏｓｓｌｅｓｓｌｙｆｒｏｍｔｈｅｉｎｄｅｘｄａｔａ，ｔｈｕｓｉｓａ“ｓｅｌｆｉｎｄｅｘ”ｔｅｃｈｎｏｌｏｇｙｗｉｔｈｏｕｔｔｈｅｎｅｅｄｏｆｓｔｏｒｉｎｇｏｒｉｇｉｎａｌｔｅｘｔｉｎｆｏｒｍａｔｉｏｎ，ａｎｄｔｈｅｒｅｆｏｒｅ ｇｒｅａｔｌｙｓａｖｅｓｔｈｅｓｔｏｒａｇｅｓｐａｃｅ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｇｉｖｅｔｈｅｒｅｖｉｅｗｏｎｄｏｚｅｎｓｏｆｅｘｉｓｔｉｎｇｔｙｐｉｃａｌｃｏｍｐｒｅｓｓｅｄｆｕｌｌｔｅｘｔｓｅｌｆｉｎｄｅｘａｌｇｏｒｉｔｈｍｓｉｎ ｂｏｔｈｔｈｅｔｈｅｏｒｉｅｓａｎｄｔｈｅｐｒａｃｔｉｃｅｓ，ａｎｄｃａｒｒｙｏｕｔｃｏｍｐｒｅｈｅｎｓｉｖｅｔｅｓｔａｎｄｅｖａｌｕａｔｉｏｎｏｎｔｈｅｍｏｎｄｉｆｆｅｒｅｎｔｄａｔａｓｅｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗ ｔｈａｔｔｈｅｃｏｍｐｒｅｓｓｅｄｆｕｌｌｔｅｘｔｓｅｌｆｉｎｄｅｘｔｅｃｈｎｏｌｏｇｉｅｓｓａｖｅｔｈｅｓｐａｃｅｃｏｎｓｕｍｐｔｉｏｎｅｆｆｅｃｔｉｖｅｌｙａｎｄｈａｖｅｈｉｇｈ