基于Lucene的分布式并行索引.PDFVIP

第 21卷 第 2期 计 算 机 技 术 与 发 展 VoI．21 NO．2 2011年 2月 COMPUTER TECHNOLOGY AND DEVELOPMENT Feb． 20l1 基于 Lucene的分布式并行索引 唐华姣 ，何友全 ，徐小乐 ，徐 澄 (1．重庆交通大学 信息科学与工程学院，重庆 400074； 2．重庆交通大学 管理学院，重庆 400074) 摘 要 ：索引技术是搜索引擎的核心技术之一，索引技术的好 坏直接影响到搜索引擎 的查准率以及对用户的响应速度。 Lucene是一个优秀的全文检索引擎架构 ，采用高度优化 的倒排索引结构并支持增量索引。但在实际应用 Lueene时存在一 个值得关注的问题 ：随着被索引文件的增多 ，索引时问成线性增长 ，导致建索 引的过程会影响搜索体验；在搜索引擎应用 中，当索引文件量达到一定等级时，搜索引擎就遇到性能瓶颈。在深入分析和研究 Lucene索引机制的基础上 ，采用以内存 为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案 ，极大地缓解了建索引给搜索带来的 瓶颈问题 。 关键词 ：索引技术；Lucene；搜索引擎 ；分布式并行索引 中图分类号：3qY3l1 文献标识码 ：A 文章编号：1673—629X(2011)02—0123—04 DistributedParallelIndexBased onLucene TANGHua-jiao，HEYou—quan，XUXiao—le，XUCheng (1．InformationScienceEngineeringDepartment，ChongqingJiaotongUniversity，Chongqing400074，China； 2．DepartmentofManagement，ChongqingJiaotongUniversity，Chongqing400074，China) Abstract：Indextechnologyisoneofthecoretechnologiesofsearchengine．ThequalityoftheindextechnologyhasadircetinfluencetO theprecisionofsearchengineandhterespondingspeedtousers．Lucene，wiht highlyoptimizedinvertedindexstructure andincremental indexsupport，isanexcellentfull—textsearchengineframework．However，whenapplyLucenetOpractice，wecna discoveraproblem deservesconcern：wiht htelineralygrowht ofindexingtimewhich resultsfrom hteincreaseofthenum~rofindexeddocuments，the processofbuildingindexwillinevitablyaffecthtesearchexperience．Inhtesearchengineapplication，whenthenum~ rofindexeddoc · uments reachesacertainlevel，theesarchenginewillexperienceperformancebottlencek．Basedondeeplyanalysisnadreserachofhtein— dexmechanism ofLucene，propoessacsalableserachenginesolutionbyadoptingmemory-bufferdiswibutde parallelindextcehnique． T