一种高效的倒排索引存储结构.pdf

， （ ） 149 Computer Engineering and Applications 计算机工程与应用 2008 44 31 一种高效的倒排索引存储结构 邓 攀，刘功申 ， DENG Pan LIU Gong-shen 上海交通大学信息安全工程学院，上海 200240 Department of Information Security ，Shanghai Jiaotong University ，Shanghai 200240 ，China E-mail ：dengpan@ DENG Pan ，LIU Gong-shen.Effective storage structure of inverted index.Computer Engineering and Applications ，2008 ，44 （31）：149-152. Abstract ：Inverted index is the core component of an information retrieval system ，the storage structure of it plays a crucial role in effect and efficiency of retrieval.In this paper ，according to the frequencies distribution of Chinese vocabulary and the current hardware and software environment ，the authors introduce an effective storage structure of inverted index that can save the disk usage and improve the efficiency of retrieval ，as well as supporting real time update and delete. Key words ：inverted index ；dictionary ；capacity ；add-on block 摘 要：倒排索引是信息检索系统的核心部分，其存储结构对检索的效率和效果起着至关重要的作用，根据汉语词汇的频率分布 情况和当前的软硬件环境，提出一种高效的倒排索引结构，在一定程度上能够节省磁盘空间，提高检索效率，并且支持增量更新和 删除。 关键词：倒排索引；词典；容量；追加块 DOI ：10.3778/j.issn.1002-8331.2008.31.043 文章编号：１００２－８３３１ （２００8）31-0149-04 文献标识码：Ａ 中图分类号：TP311 1 引言 可见，国内外针对倒排索引优化的研究主要出发点有3 在当前的网络环境下，信息量和用户量都爆炸式的增长， 个：（1）通过压缩技术减小索引在外存上的体积。 （2）对倒排表 这给大规模信息检索系统的准确高效的提供服务带来了很大 内容的组织方式进行优化，减少需要访问的倒排表内容。如词 的压力，而倒排索引是信息检索系统的核心部分，其组织方式 频降序，插入同步点。 （3）对倒排表的磁盘存储结构进行管理， 和存储结构对信息检索系统得性能有很大影响，因此，除了改 尽量减小磁盘的IO 次数。 进检索算法之外，优化倒排索引的存储结构成为一个很受关注 当前通用的计算机存储介质中。主存读写效率比较高，存 的课题。 取时间在几十到100 ns 之间，但是存储容量有限。辅存一般由 F Scholer 和J Zobel 等人提出倒排表根据文档号增序组 一个或数个磁盘驱动器组成，其存储容量比较大，但是读取效 织，通过倒排索引的数据压缩技术，希望通过减小索引文件体 率相对较低。由于倒排索引文件规模比较大，磁盘上