基于Lucene的搜索引擎研究.pdfVIP

第20卷第4期 河南工程学院学报(自然科学版) V01．20．No．4 2008年12月 JOURNAL0FHENANINSTnUTE0FENGINEERING Dec．2008 基于Lucene的搜索引擎研究 詹自熬1，陶 斌2 (1．河南工程学院电气信息工程系，河南郑州451191； 2．河南工程学院计算机科学与工程系，河南郑州451191) 摘要：Lucene是一个纯Java实现的高性能、可扩展的全文信息检索工具库，可以很方便地把它融入到应用程序中 来增加索引和搜索功能．分析了Luc即e的索引文件结构和搜索排序算法，探讨了Lucene中计算文档与查 询项相关度的向量空间模型(VSM)．最后，通过实验验证了索引过程的建立以及如何提高索引性能． 关键词：Lucene；向量空间模型；相关度；信息检索 中图分类号：m91．3 文献标识码：A 文章编号：1674—330X(2008)04—0040—04 Lucene并不是一个文件搜索程序、web爬虫或并不是回答“这个文档中包含哪些单词”这个问题， 者web站点搜索引擎的应用程序，它是一个开源的 而是经过优化以后用来快速回答“哪些文档包含指 Java工具包，不具备一个搜索应用程序的完整特征． 定的单词”这个问题…．这种设计思想类似于书籍 它只关注文本的索引和搜索，并且提供了丰富易用 中的索引，可以让你快速地定位需要关注的某个主 且功能强大的API，隐藏了索引和搜索的复杂操作， 题的页码． 用户可以只专注于应用程序自身的业务领域．可以 将Lucene看作应用程序之下的一个接口层，如图1成，每一个段都是完整独立的子索引，可以被搜索， 所示． 类似于数据库中的表；段是一些文档(Document)的 序列，文档类似于数据库表中的一条记录；文档是一 些域(Field)的序列，域类似于数据库表中的列；域 是一些项(Te邢)的序列，类似于数据库表中每一列 囡引倒 包含的值序列；项就是一个字串，存在于不同域中的 同一个字串被认为是不同的项．因此，项实际是用一 对字串表示的，第一个字串是域名，第二个是域中的 字串，如图2所示． 一口引d 图l集成Luce耻的程序结构 the Fig．1Lu∞眦iIltegrati∞ofpmgram啦删du弛 1 L嵋ene索引文件结构、格式及索引过程 Lucene使用了反向索引作为其基本的索引结 构．反向索引是以在文档中抽取的索引项为主体来 图2 Luce眦的索引文件结构 构建数据结构，每个索引项指向一个文档序列，这个 Luceneindex脚estnIctu弛 Fig．2 序列中的文档都包含该索引项．换句话说，反向索引 收稿日期：2008一10一03 作者简介：詹自熬(1979一)。男，河南罗山人，硕士，主要从事计算机算法与辅助设计、计算机网络方面的研究 万方数据 第4期 詹自熬，等：基于Lucene的搜索引擎研究 ·4l· Lucene中的索引文件信息主要由字典文件、频本文首先对向量空问模型进行讨论．为便于：描述问