浅谈对Lucene系统的基本认识.docVIP

浅谈对Lucene系统的基本认识 　　摘要 　　Lucene是apache软件基金会的项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。 　　关键词：Lucene检索 引擎 　　中图分类号： [C94] 文献标识码： A 文章编号： 　　Lucene系统为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能或者是以此为基础建立起完整的全文检索引擎。由于Lucene系统在现实生活中有较好的应用价值，结合自身学习和理解，简要介绍一下Lucene系统的基本理论。 　　 　　Lucene的特点 　　Lucene系统作为一个全文检索引擎工具包，与其他检索引擎相比，突出具备以下特点： 　　一是索引文件格式独立于应用平台。由于Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。 　　二是Lucene系统在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。 　　三是优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。 　　四是由于Lucene系统设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流来完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。 　　综上所述，Lucene与网络上使用的一些商业检索引擎相比，在查询方式上处于领先地位。首先，由于其开发源代码遵守了Apache Software License，程序员可深入的学习到全文搜索引擎制作和对象编程技术，从而编写出更好的更适合的全文搜索引擎。第二，Lucene具备了开放源代码一贯的优势，可设计一种符合实际并具有较强扩充能力的对象架构，程序员能够扩充各种各样的功能。第三，可借助于apache软件基金会的网络平台可实现资源共享。 　　Lucene的系统结构 　　Lucene的系统结构具有较好的面向对象特征，其检索效率高、耦合性低，容易进行二次开发。以下给出系统结构与源代码组织图图 2 1： 　　 　　 　　图 2 1 Lucene系统结构 　　根据图示，Lucene系统对外接口由三个部分组成，系统的核心为其具备直接操作索引文件的功能。Lucene将源代码分为了7个模块(在java语言中以包package来表示)，每个模块所属的系统部分如图 2 1所示。 　　Lucene的功能介绍 　　通过对Lucene系统功能的简要介绍，可直观的了解该系统在检索引擎方面具有的潜在价值。 　　Lucene中文分词功能 　　Lucene的分词处理通过继承Analyzer接口的分词器完成，根据工具包本身提供Standard Analyzer、simple Analyzer、whitespace Analyzer、Stop Analyzer等通用分词器，进一步扩展或实现自己的解析分词器需要继承Analyzer接口。由于中文与西方文字不同，西方文字如英文的单词间有空格作为分隔，计算机很容易把一个个词分开。而中文句子里的之间没有分隔，要把中文句子拆分成词就需要使用中文分词技术。由于全文索引采用的是倒排索引技术，所以分词的效果直接决定了搜索的效果。 　　Lucene索引文件存储 　　Lucene索引中有的重要概念包括：索引(index)、文档(document)、字段(field)、不可再分的词(term)。文档(document)是一组序列字段，也就是说由几个字段组成；字段(field)是一些列项，类似于数据库中的一列;词(term)是分词后的最小单元。 　　Lucene进行文本索引存储时，以一个document为单位。而一个document对应了一组序列字段，通过同名但不同后缀的文件表示方法存储这些序列字段。.tii和.tis文件存储词条信息;.如文件存储词条发生频率的信息；.prx存储词条位置信息；.fnm存储document中field名称；.fdt文件存储以Store.yes存储的field数据；.fdx则是.fdt的索引文件，存储了document在.fdt文件中的位置；.tis存储分词后的词条内容；.tii则是.tis的索引文件，存储了词条在.tis文件中的位置。而完成10写入的操作则是由Index writer类完成的。 　　 Lucene的检索功能 　　当使用这输入一个关键字后，Lucene的检索功能并不是立刻就将该关键字存入后台开进行检索，而是首先对该字进行分析和处理，从而提高检索的效率。其实，在Lucene中，这种处理就是构建了一个Que