基于Lucene和Heritrix全文检索引擎研究与应用.docVIP

基于Lucene和Heritrix全文检索引擎研究与应用 　　摘要：Lucene是一个用Java写的全文索引引擎工具包，访问索引时间快，支持多用户访问，可以跨平台使用。Heritrix是一个开源的由Java开发的Web网络爬虫框架，用户可以使用它从网络上抓取想要搜索的资源。该文分析了Lucene的索引机制，探讨了Heritrix的结构框架，最后结合实例对基于Lucene和Heritrix技术的全文检索的应用进行深入研究。 　　关键词：Lucene；全文检索引擎；Heritrix 　　中图分类号：TP393.07文献标识码：A文章编号：1009-3044(2012)13-2962-03 　　Research and Application of Full-Text Searching Engine Based on Lucene and Heritrix 　　QING Xiu-hua 　　(School of Electronic Electrical Engineering, Wuhan Textile University, Wuhan 430073, China) 　　Abstract: Lucene is a full text indexing engine package written in Java language. It has high access speed, supports multi-user accesses and can be used in a cross platform way. Heritrix is an open source web spider explored by Java. Users can snatch information from Internet by using it. The searching mechanisms of Lucene were analysis and the frameworks of Heritrix were discussed in this paper. And finally, we developed an application to make a deep study to realize the full text searching based on Lucene. 　　Key words: Lucene; full text searching engine; Heritrix 　　1概述 　　随着Internet网上的信息呈几何级数式的增长，搜索引擎已经成为用户浏览网络信息的首选。传统的通用搜索引擎(Google、Yahoo以及国内的Baidu等)，作为一个辅助用户查找信息的工具已经成为大多数互联网用户访问网络的入口。但是，这些通用性搜索引擎存在着一定的不足，例如：通用搜索引擎的信息量较大、搜索深度不够、查询不太准确等问题。在这种情况下，为了解决这些问题，垂直搜索引擎应运而生。垂直搜索引擎是针对某一领域或行业的专业搜索引擎，是搜索引擎的延伸，可以为搜索用户提供符合专业用户操作行为的信息服务方式。它的特点是“专、精、深”，并且具有较强的行业色彩，和通用搜索引擎的海量信息无序化相比，垂直搜索引擎更加具体和深入。该文主要阐述开源的Lucene技术和Heritrix技术的基本原理和使用方法，提出了整合Lucene与Heritrix使其与J2EE平台完全融合的方案，并实现了一个手???产品垂直搜索引擎系统。 　　2全文检索引擎开源框架 　　2.1全文搜索工具包Lucene 　　Lucene是一个用Java编写的高效率、可扩展的全文索引的引擎工具包。它是目前最受欢迎的开源信息检索包。Lucene定义了平台无关的索引文件结构，保证了平台无关性。它的另外一个优秀之处在于设计结构十分优良，将所有的核心类库设计成抽象基类，用户使用Lucene时再具体实现其对应的抽象类。此外，Lucene使用类进行包装，然后进行基于面向对象的多层封装，最后形成一个低耦合、与平台无关的、可以进行二次开发的开源框架。要想使用Lucene来进行我们的开发，首先需要对Lucene的内部结构有比较清楚的了解。Lucene的结构图如图1所示。 　　目前已经有较多的应用程序（例如Eclipse的帮助系统的搜索功能）的搜索功能是基于Lucene的，Lucene可以为文本类型的数据建立索引，只要把要索引的数据格式转化的文本类型的数据格式，Lucene就可以对该文档进行索引和搜索。例如如果要对一些HTML文档或PDF文档进行索引，首先就需要把这些文档转化成文本格式的，再将转化后的内容交给Lucene进行索引，然后将创建好的索引文件保存