基于倒排文件的索引模型综述.pdfVIP

计算机科学2007Voi．34No．10B 基于倒排文件的索引模型综述*) A ofIndexModelBasedonInvertedFile Survey 孙琦牛军钰 (复旦大学计算机科学与工程系 上海200433) AbstractIndexmodelbasedontheinvertedfileisthemainstream information indexing adoptedbymany technology retrieval withthearchitectureofindexbased0ninverted thecon- systems．Thispaper，beginning file，highlights struction of ofindex used andthe index；maintenancesystem，severalusuallycompressionalgorittuns algorithm structureofdistributed basedoninvertedfile．Thisalso introducesthe tech— indexingsystem paperbriefly indexing some informationretrieval by popularopen-source platforms． nologiesemployed Index，Informationretrieval，Invertedfile，Indexconstruction，Indexmaintenance，Index KeDvords compression 当今Web环境下，需索引的词条与Web数据 1 引言 量呈线性关系增长[2]。因此，必须选择合适的数据 文本索引中一般存放着文本库词典，记录着相 结构来存储这些词条。 应索引项的出现位置及其一些统计信息。经典的索 通常情况下，实现词典的方法包括B+树、哈希 引模型包括倒排文件，签名文件，位图[4]，Patricia表、二叉搜索树、Splay树、Trie树等。 Trie等。文[9]中考察了倒排文件与签名文件在索 B+树是一种多路平衡分层查找树，其所有的 引文本数据方面的性能，结果表明倒排文件的效率 索引项存放在叶子节点中。由于B+树的分层查找 要高于签名文件，而空间消耗低于签名文件，此外， 机制，所以在查找时，B+树不需要全部读人内存， 基于倒排文件的索引实施起来较为简单。因此，目 其查找效率较高。但B+树对待所有的索引项都需 前，大多数搜索引擎系统均采用倒排文件式的索引 要相同的访问时间，而且，其辅助存储空间较大，空 结构，像著名Google商用搜索引擎[3]，开源社区中间利用效率不高。 著名的Lucene检索系统[1引，学术领域中使用较为哈希表是以哈希函数为基础的一种随机存取数 广泛的Lemur信息检索实验平台[8]，以及我国中科据结构，其查找效率较高。尽管可索引项的数目非 院自行开发的开源信息检索系统Fir