压缩的全文自索引算法研究-计算机应用与软件.pdf

第３１卷第３期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．３ ２０１４年３月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１４ 压缩的全文自索引算法研究 １，２ ３ １ ３ ３ 路　炜 　刘燕兵 　王春露 　刘庆云 　郭　莉 １（北京邮电大学计算机学院　北京 １００８７６） ２（河北师范大学附属民族学院　河北石家庄０５００９１） ３（中国科学院信息工程研究所信息内容安全技术国家工程实验室　北京 １０００９３） 摘　要　　针对传统全文索引技术空间浪费过大等问题，介绍压缩的全文自索引技术。该技术仅利用索引数据即可完成子串搜索， 并且可以从索引数据无损地还原出原始的文本信息，是一种无需存储原始文本信息的“自索引”技术，从而大大节省存储空间。综 述现有的十几种典型的压缩的全文自索引算法的基本思想及其实现，并在多种数据集上对这些算法进行综合的测试评估。实验结 果表明，压缩的全文自索引技术有效地节省了空间开销，实用价值较高。 关键词　　全文索引　数据压缩　自索引　后缀数组　ＢＷＴ变换 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０３．００４ ＲＥＳＥＡＲＣＨＯＮＣＯＭＰＲＥＳＳＥＤＦＵＬＬＴＥＸＴＳＥＬＦＩＮＤＥＸＡＬＧＯＲＩＴＨＭＳ １，２ ３ １ ３ ３ ＬｕＷｅｉ　ＬｉｕＹａｎｂｉｎｇ　ＷａｎｇＣｈｕｎｌｕ　ＬｉｕＱｉｎｇｙｕｎ　ＧｕｏＬｉ １（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６，Ｃｈｉｎａ） ２（ＣｏｌｌｅｇｅｏｆＮａｔｉｏｎａｌｉｔｉｅｓ，ＨｅｂｅｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｓｈｉｊｉａｚｈｕａｎｇ０５００９１，Ｈｅｂｅｉ，Ｃｈｉｎａ） ３（ＮａｔｉｏｎａｌＥｎｇｉｎｅｅｒｉｎｇＬａｂｏｒａｔｏｒｙｆｏｒＩｎｆｏｒｍａｔｉｏｎＳｅｃｕｒｉｔｙＴｅｃｈｎｏｌｏｇｉｅｓ，ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００９３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｒａｄｉｔｉｏｎａｌｆｕｌｌｔｅｘｔｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙｗａｓｔｅｓｈｕｇｅｓｐａｃｅ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｗｅｉｎｔｒｏｄｕｃｅｔｈｅｃｏｍｐｒｅｓｓｅｄｆｕｌｌｔｅｘｔ ｓｅｌｆｉｎｄｅｘｔｅｃｈｎｏｌｏｇｙ．Ｂｙｏｎｌｙｅｍｐｌｏｙｉｎｇｉｎｄｅｘｄａｔａｉｔｃａｎｉｍｐｌｅｍｅｎｔｔｈｅｓｕｂｓｔｒｉｎｇｓｅａｒｃｈ．Ｉｎａｄｄｉｔｉｏｎ，ｉｔｃａｎａｌｓｏｒｅｓｔｏｒｅｏｒｉｇｉｎａｌｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎｌｏｓｓｌｅｓｓｌｙｆｒｏｍｔｈｅｉｎｄｅｘｄａｔａ，ｔｈｕｓｉｓａ“ｓｅｌｆｉｎｄｅｘ”ｔｅｃｈｎｏｌｏｇｙｗｉｔｈｏｕｔｔｈｅｎｅｅｄｏｆｓｔｏｒｉｎｇｏｒｉｇｉｎａｌｔｅｘｔｉｎｆｏｒｍａｔｉｏｎ，ａｎｄｔｈｅｒｅｆｏｒｅ ｇｒｅａｔｌｙｓａｖｅｓｔｈｅｓｔｏｒａｇｅｓｐａｃｅ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｇｉｖｅｔｈｅｒｅｖｉｅｗｏｎｄｏｚｅｎｓｏｆｅｘｉｓｔｉｎｇｔｙｐｉｃａｌｃｏｍｐｒｅｓｓｅｄｆｕｌｌｔｅｘｔｓｅｌｆｉｎｄｅｘａｌｇｏｒｉｔｈｍｓｉｎ ｂｏｔｈｔｈｅｔｈｅｏｒｉｅｓａｎｄｔｈｅｐｒａｃｔｉｃｅｓ，ａｎｄｃａｒｒｙｏｕｔｃｏｍｐｒｅｈｅｎｓｉｖｅｔｅｓｔａｎｄｅｖａｌｕａｔｉｏｎｏｎｔｈｅｍｏｎｄｉｆｆｅｒｅｎｔｄａｔａｓｅｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈ