基于Lucene企业搜索引擎研究及应用.docVIP

基于Lucene企业搜索引擎研究及应用 　　摘要：分析了企业级搜索引擎应具有的功能和总体架构，研究了Lucene的系统结构及检索原理，提出了统一处理html、pdf、word等多种常用文档的思路。针对中文特点设计搜索引擎的构建技术，包括从源数据采集、文档解析与分词、索引器、信息检索、结果排序的全过程，基于Lucene软件包实现了一个原型系统，取得了较好的搜索效果。 　　关键词：Lucene；企业搜索引擎；中文分词；非结构化文档 　　中图分类号：TP393文献标识码：A 文章编号：1009-3044(2009)04-0926-04 　　Research and Application of Enterprise Search Engine Based on Lucene 　　LI Hai-feng 　　(Colleage of Computer Science of Central South University of Forestry and Technology, Changsha 410004, China) 　　Abstract: The structure and function of the enterprise search engine has been analyzed,introduces the structure and the index principles of Lucene,put forward the method of the deal with html,pdf,word documents.Design of search engine technology based on characteristics of the Chinese,include the process ofCollection of source data,Document Analysis and Segmentation,Indexer, information search,result sorting.Realize a prototype system based on Lucene,and achieved a good search results. 　　Key words: lucene; enterprise search engine; chinese word segmentation; unstructured documents 　　1 引言 　　伴随着互联网的兴起，企业信息化建设也迅速发展起来。面对浩瀚的企业内部数据和网络数据，如何更有效、快速的获取成为一个非常重要的问题，企业搜索引擎很好的解决了这个问题。网络信息数据分为两类：一类信息能够用数据或统一的结构加以表示，称之为结构化数据，如数字、符号等；另一类信息无法用数字或统一的结构表示，如word文档、PPT演示文档、PDF文件乃至网页等，这些非结构化信息都位于传统数据库之外。随着企业信息化水平的提高，企业内部和网络上的大部分数据为非结构化信息。 　　现有的数据库检索，是以结构化数据为检索的主要目标，实现相对简单，但对于非结构化数据，由于复杂的数据事务操作以及低效的高层接口，导致检索效率低下。Lucene[1]这个开源项目的推出及发展，为开发者提供了一个优秀的信息检索引擎。 　　2 Lucene技术简介 　　Lucene作为一个优秀的全文检索引擎,它的系统结构[2]具有强烈的面向对象特征。首先是定义了一个与平台无关的索引文件格式，其次通过抽象将系统的核心组成部分设计为抽象类，具体的平台实现部分设计为抽象类的实现，此外与具体平台相关的部分比如文件存储也封装为类，经过层层的面向对象式的处理，最终达成了一个低耦合高效率，容易二次开发的检索引擎系统。 　　2.1 Lucene的系统结构 　　Lucene的系统由基础结构封装、索引核心、对外接口三大部分组成。其中直接操作索引文件的索引核心又是系统的重点，如图1所示。 　　Lucene每个包完成的特定功能，如表1所示。 　　2.2 Lucene的特点 　　Lucene作为一个全文检索引擎,其具有如下突出的优点： 　　1) 索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。 　　2) 在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。 　　3) 优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。 　　4) 设计了独立于语言和文件格式的文本分析接