Lucene全文检索的应用及检索效率测试研究.PDFVIP

RESEARCHESIN LIBRARYSCIENCE 37 Lucene全文检索的应用 及检索效率测试研究 彭 哲 陈敬文 【摘 要】使用 Lucene设计一个全文检索系统，系统由三大功能模块组成：索引模块、检索模块和存储模块。 第二部分着重分析PDF数据转换，XML文档设计，索引的分词、建立及效率等技术难点，并对 中文分词分析 器、索引文件膨胀率、索引影响因子及检索系统并对检索响应时间进行测试。应关注XML数据库的安全性。 【关键词】Lucence XML 全文检索 效率 Abstract：Usinq fucene designa fulItextretrievafsystem ， incIudinq index module，retrievafmodule，and databasemodule．MainJYarialyzehow totransform PDFtoXML，designing ofXMLdatabase，Chineseword segmentation，foundingandefficiencyofindexes，thentestsanalyzer，expansivity，factorsofindexesand respondingtimeofsearching．ThesecurityofXMLdatabaseshouldbepaidattentionto． Keywords：Lucene XML fulltextretrieval efficiency Lucene不是一个完整的全文检索应用程序，而是～个高性能的 Java全文检索工具包 ，它可 以方便地嵌入到 各种应用中实现针对应用的全文检索功能。Lucene以其开放源代码的特性、优异的索引结构和 良好的系统架构 ， 得到了越来越广泛的应用。 本文使用Lucene设计并实现了一个全文检索系统，与关系数据库相比，采用XML作为数据存储容器，实现 了单个数据库操作，并在大信息量环境下极大地节省了存储空间，提高了检索的速度。 1 系统分析与设计 本文实现的全文跨库检索系统由三大功能模块组成 ：索引模块、检索模块和存储模块 】]。 1．1 索引模块 Lucene最核心的特征就在于它特殊的索引结构可以提高检索效率，这也是我们选择 Lucene的重要原因。 Lucene使用的是倒排文件索引结构，它把每个关键词、关键词在文中出现频率、关键词在文中位置分别作为词典 文件 (TermDictionary)、频率文件 (Frequencies)、位置文件 (Positions)保存。其中词典文件不仅保存每个关 键词，还保留了指向频率文件和位置文件的指针，通过指针可以找到该关键词的频率信息和位置信息。 同时，关键词在索引文件中的排放顺序是按照字符顺序排列的，所以Lucene可以用二元搜索算法快速定位关 键词。 另外，Lucene中使用了Field的概念，用于表达信息所在位置 (如标题中、文章中、urf中)，在建立索引时， 该Field信息也记录在词典文件中。由于每个关键词一定属于一个或多个Field，所以每个关键词都有一个Field信 息。 为了减少索引文件的大小，Lucene对索引还使用了压缩技术，首先，对词典文件中的关键词进行了压缩，关 键词压缩为前缀长度，后缀；其次 ，大量用到了对数字的压缩，数字只保存与上一个值的差值。 在维护索引文件时，Lucene与其他 B树结构的索引有所不同，它是在扩展索引的时候不断创建新的索引文 件，然后定期把这些新的小索引文件合并到原先的大索引中，这样避免了大量的1O操作 ，在不影响检索效率的前 本文系国家社科基金重大项 目 “建设创新型国家的信息服务体制与信息保障体系研究”(项 目编号 ：o6~ZD031)课题成果之一。． 38 图 书 馆 学 研 究 2009．2 提下，提高了索引的效率。 1．2 检索模块 以JSP页面作为用户检索的界面，对全文各字段进行检索，支持高级查询，对检索结构提供方便的查看方式。 检索的实现流程如图1[。所示 ： 图 1 检索流程示意图 检索系统根据建库时定义的可检索项提供多条检索途径，除了可检索如论文题 目、作者、关键词等结构化数 据外，还可检索全文、摘要、作者单位、期