一步一步学lucene——(第一步：概念篇) - skyme - 博客园概论.pdfVIP

信息检索的概念 信息检索 （Information Retrieval）是指信息按一定的方式组织起来，并根据信息用户的 需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分，即从 信息 集合中找出所需要的信息的过程，也就是我们常说的信息查寻 （Information Search 或 Information Seek）。 我们在下边研究的lucene就是对信息做全文检索的一种手段，或者说是一项比较流行 的技术，跟google、baidu等专业的搜索引擎比起来会有一定的差距，但是对于普通的企 业级应用已经是足够了。 什么是lucene Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检 索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整 的 查询引擎和索引引擎，部分文本分析引擎 （英文与德文两种西方语言）。Lucene的目的是为 软件开发人员提供一个简单易用的工具包，以方便的在目标系统中 实现全文检索的功能，或者 是以此为基础建立起完整的全文检索引擎。 现在最新的稳定版本是3.6，而且4.0alpha版本也已经推出。 lucene能做什么 首先要明确一点，lucene只是一个软件类库，或者一个工具箱，而并不是一个完整的 搜索程序。但是它的API非常简单，可以让你不用了解复杂的索引和搜索实现的情况下， 通过它提供的API，来完成非常复杂的事务处理。 你可以把站内新闻都索引了，做个资料库；你可以把一个数据库表的若干个字段索引起来， 那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎…… 应用程序和lucene之间的关系 lucene的工作过程是首先建立索引，将索引保存，然后对索引进行搜索，并且根据搜 索的结果找到对应的数据的过程。 关系结构如下： 图：应用程序和lucene之间的关系 lucene中的几大组件 一、索引组件 创建索引的过程就是首先“获取内容”，然后根据获取的内容“建立文档”，对文档进行“文档 分析”，最后对文档建立“文档索引”的过程。 1、获取内容 获取内容的手段很多，可以从上图的输入渠道中看到，包括数据库、文件系统、网络等多种 渠道。 在有些情况下，获取内容的工作很简单，比如索引指定目录下的文件、将数据库中的内容读 出并进行索引等。 但是有些情况下，获取内容的工作会很复杂，如操作文件系统、内容管理、各种web站点 的数据等。 内容获取完全可以通过下面提供的开源软件进行获取，当然这里只是列出了其中的一部分： solr：Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比 Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的 功能管理界面，是一款非常优秀的全文搜索引擎。 nutc h：Nutc h 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎。 grub：Grub Next Generat ion 是一个分布式的网页爬虫系统，包含客户端和服务器可以用来维护网页的索 引。 Herit rix：Herit rix是一个开源，可扩展的web爬虫项目。Herit rix设计成严格按照robots.txt文件的排除指示 和META robots标签。 Apert ure：Apert ure这个Java框架能够从各种各样的资料系统(如：文件系统、Web站点、IMAP和Out look 邮箱)或存在这些系统中的文件(如:文档、图片)爬取和搜索其中的全文本内容与元数据。 jc rawl：jc rawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比 如email,qq。 2、建立文档 文档是lucene中建立的小数据块，也就是说，必须先将这些获得的内容转换成文档，文档 中几个带值的域主要包括：标题、正文、摘要、作者和链接等。 lucene提供了API来建立域和文档，但不提供任何建立它们的程序逻辑。 有一些应用可以很好的完成这些工作，下面也列出其中一部分，仅供参考： T ika：T