LUCENE中文分词在科研文档全文检索系统的应用研讨.pdfVIP

捅要 如何快速有效地从海量的信息资源中找到自己所需要的资源，已经成为人们越 来越重视的问题。全文检索技术即是可以解决这个问题的主要技术。 引擎组件，在此基础上可以方便地对其进行二次开发来实现全文检索系统。但是 Lucene仍有许多不足的地方需要进行改进，特别是在中文分词的处理上。由于中文 分词质量的准确与否，将直接影响到用户对搜索结果的满意度，因此中文分词技术 在全文检索系统中尤为重要，也是本文研究的关键内容。 论文首先阐述了Lucene全文检索的相关技术，阐述了现有的中文分词方法，然 词典的双向最大匹配分词算法；分析了Lucene对于文档格式支持的局限性，提出了 一个通用的文本解析框架。 论文的主要工作是分析设计并实现了一个基于Lucene的科研文档全文检索系 统。分析了系统的总体架构和功能模块，对系统进行了总体设计和详细设计。针对 科研文档格式的多样性，构建了文本解析模块，可以对多格式文档进行解析。系统 的中文分析器采用改进的中文分词算法实现。对文本解析模块、中文分析器和系统 的性能进行实验分析，通过实验证明，中文分析器的分词效果非常显著，系统的查 全率和查准率都达到了用户的满意度。 最后，论文对基于Lucre的科研文档全文检索系统进行了分析，总结了本文取 得的成果，并对未来进一步的工作内容进行了展望。 关键词：全文检索；Lueene；中文分词；文本解析 inits ofChineseword tobe handling still aspects improved，particularly many the is or affect word bad，directly Chinese segmentationgood se目：Ilentation．The tokenizeristhemainresearched forsearch theChinese ofusers results，SO satisfaction in contentthis paper． Lucenefull·textretrieval， therelevant about elaborated technology Firstly’this paper the of word shortage Chinese method，analyzes the segmentation elaborated existing the and forward