一种增量倒排索引结构的设计及实现.pdf

　第 45卷 　第 6期 吉 林 大 学 学 报 ( 理 学 版 ) Vo l. 45　No. 6 　2007年 11月 JOURNAL OF J IL IN UN IV ER SITY ( SC IENCE ED ITION ) Nov　2007 一种增量倒排索引结构的设计与实现 王 　冬 , 左万利 , 赫枫龄 , 彭 　涛 , 张长利 (吉林大学 计算机科学与技术学院 , 长春 130012; 吉林大学 符号计算与知识工程教育部重点实验室 , 长春 1300 12) 摘要 : 针对主题爬行器获取网页更新速度快的特点 , 提出一种用于网络搜索引擎的增量索引 结构. 在建立倒排索引时 , 每个词项的记录表以链接块的形式存放于倒排索引文件中 , 每次 新分配的块大小递增. 该索引结构解决了倒排索引连续存储所带来的难以更新问题. 实验结 果表明 , 与支持实时更新的传统链表式存储方式相比, 这种索引结构能提供更高效的检索 , 采用以空间换时间的方法有效地提高了索引的更新效率. 关键词 : 主题式搜索引擎 ; 增量倒排索引; 实时更新 中图分类号 : TP393. 09　　文献标识码 : A 　　文章编号 : 167 15489 (2007) D esign and Implem en ta tion of an Increm en ta l Inverted Index Fram ework WAN G Dong, ZUO W anli, H E Fengling, PEN G Tao, ZHAN G Changli ( Colleg e of Comp u ter S cience and Technology, J ilin Un ivers ity, Chang chun 1300 12, Ch ina; Key L abora tory of Sym bolic Comp u ta tion and Know ledg e Eng ineering of M in is try of Educa tion, J ilin Un ivers ity, Chang chun 1300 12, Ch ina) Ab s tra c t: In the p re sen t p ap er is p ropo se sd an increm en tal index structu re u sed in web search engine in order to deal w ith the h igh up date frequency of the web p age s craw led by dom ainsp ecific craw ler. In the inverted index structu re, the po sting list of each term is p artitioned in to linked b lock s, who se size s form an arithm etical serie s. The increm en tal index structu re re so lve s the p rob lem of docum en t up date, wh ich is exp en sive in invert ed index of con tinuou s storage, and exp erim en tal re su lts show that it p rovide s m uch h igher retrieval efficiency than