FirteX-高性能全文索引与检索平台.pdfVIP

F i rtex一高性能全文索引和检索平台1 郭瑞杰啦程学旗1许洪波1张刚1王斌1 1．中国利学霸剜贺射爿弼f究所Z中国利掣搦弼阿生院jt京100080 h础嘶ieg嘣争m凇咄啪l 摘要FinⅨ是—仰啪自强大．高陶孰贰番嘣蝴碍雨检索平台。陆把lX的主要目标是准簪√阿嘣暾的实验砰冶研 究信副佥索的各种数据结构、算法币蟛《型，并可陕速籀窿实{瞄系统。高曲犯髓惑刮膀褂每也使F洳Ⅸ可以应甩盔各种垂直 搜索以及=矧涮；豺嫁引擎等翎睡域中。本文详}嘣髓了Fi巾Ⅸ的系绕‰Be钒相关算法、索引结悔硒殆毫觌在426蕊的 GOV2数据集和271国的搜狗互联厨浯料匕的实验甚坩月，献是—个商睦毖．规模可执髓搀全文索引和淦奉}平台。 关键字嗽，信副筮蕤平台，全文索引，开源，Web检索 Firtex．．A PerformanceandScaIabIePIatformfor High I and I Full-textndexi ng Retri eva GtDl2 XuI Ruijie XumiChmgII-IoFlgboG锄g盈删Bill、№f 1．h加bofC(和啦Tecll咖，CAS．2 100080 酬：IIlii昀I|0(p觚‰ Abs嘲Ftrle,Xis tlexibletext mad Itaimsb fetrable a伽触I。d，highpc撮卸恤l呜and jI-出璇lgx吲fieval冲如L p池a and inlnfaanalkm 脚缸resms℃llmtmimmlalionRt血％wal，岱砌罄a蚺l,nfomm∞andscalable却h雠I删 颤幽pfI碰ofWcb 姆岫曲由咖eaDd螂锄曲妇西F砒Cm白甲渤啦∞铴GB00v2触舶d27l 缸tFiI国沲a坛咖伊临哪n∞锄d瞄lablc9期ch曲墒眦 K哪也嗽IlI妇岫＆嘲司幽舾弛Fhn酣缸‘酾晦0I瑚帆、酗鳓 1 引言 ’ 搜索引擎迅速发展，全文索引和检索技术也得到了广泛而细致的研究。这些研究有着不同的应用 场景和目标，但是基本部是围绕效率平嗡睇溺阶-力面进行。效率方面的研究是为了在计算资2玛‘洧限的情 况下使快速处理大规模数据集成为可能，例如索引算法，分布式IR，检索算法，索引缓存等。效果方 面的研究则是提高用户体验，从海量数据集中找到用户最想要的信息，包招检索模銎!，功萨lb出算法， 查询反馈等。这两个方面的研究往往都需要搭建大型的实验系统进行测憾和验证。 Fi血X2是—套功能强大、高性能的全文索引和检索平台，其目标是作为—们FfI放式的研究平台研究 丈本骧引的酾蝴，匀I寸在线索引，1b畔查询的酾蝴以及各种隧嬲等。高陛街阳灵活的架 构也使随婀以应用在各种垂直搜索以及大规模搜索引擎等锈喊中。Fi】馏(硅蜊艮好的规舸扩展 性，可处理Ib级以E数据，具有较高的索引和捡索性能。 本文后续内容安排如下：第2节阐述研制FiI也Ⅸ的目标和动机，第3节给出Fir蝴(的总体架构， 本j滑到国家973基础研究计划课题“大却嘴汶本内容计算”项目(2(B懈18109)资助．彝皤穗l铬1-)。男，博士研究生． 2眄批x获2006第二届中国开源软件竞赛学生组银奖，可访问啦丛!璺塑§照毯g唱或缝幽墼垂．咝堡纽雹蘸垒呶自由下载 422 第4节和第5节描述Fi似的索引子系统和索引结构，第6节介绍F讯Ⅸ撇，第7节是实验和性能 澍赢最后总结全艾胁恂广F_步自虹作。 2目标和动机 在信宦检索辆碱，往往需要-鼍豉持大唰剿受据的、多乏活的、馋l士的、易扩展的实验平台，以测 试隅缸昭种拥争强结。在国际上这剡萤黟擞平台酎艮多，例如曲附}I大黼内基匍逄大