lucene简介原理及实践概要1.ppt

Why use lucene Lucene作为一个全文检索引擎，其具有如下突出的优点： （1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。 （2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。 （3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。 （4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。 （5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search）、分组查询等等。 开源,可扩展能力强,有各种语言版本,适合各种平台, 现代搜索引擎的核心 对要搜索的文件建立索引 在索引基础上搜索 Lucene搜索机制-A 建立索引 Lucene 采用反向索引（inverted index）机制 通过实现特定API，完成文档建立索引的工作 Lucene搜索机制-B 基于索引搜索 Lucene通过特定的类，可以对索引进行操作 通过特定的类，封装搜索结果，供应用程序处理 Lucene系统结构 Lucene包结构功能表 Lucene的主要逻辑图 Lucene功能强大，但从根本上说，主要包括两块： 一是文本内容经切词后索引入库； 二是根据查询条件返回结果 入库逻辑 入 库者定义到库中文档的结构，比如需要把网站内容加载到全文检索库，让用户通过“站内检索”搜索到相关的网页内容。入库文档结构与关系型数据库中的表结构类 似，每个入库的文档由多个字段构成，假设这里需要入库的网站内容包括如下字段：文章标题、作者、发布时间、原文链接、正文内容（一般作为网页快照）。 包含N个字段的文档（DOCUMENT）在真正入库前需要经过切词（或分词）索引，切词的规则由语言分析器（ANALYZER）完成。 切分后的“单词”被注册到索引树上，供查询时用，另外也需要把其它不需要索引的内容入库，所有这些是文件操作均由STORAGE完成。 Lucene的索引树结构非常优秀，是Lucene的一大特色。 查询逻辑 查询器根据条件遍历索引树，得到查询结果，并返回结果集，返回的结果集类似于JDBC中的ResultSet。 将返回的结果集显示在查询结果页面，当点击某一条内容时，可以链接到原始网页，也可以打开全文检索库中存储的网页内容。 这就是查询的逻辑过程，需要说明的是，Lucene默认只支持英文，为了便于说明问题，以上查询过程采用中文举例，事实上，当Lucene被扩充支持中文后就是这么一个查询过程。 Lucene数据结构与DB类比 理解核心索引类 为了对文档进行索引，Lucene 提供了五个基础的类 public class IndexWriter org.apache.lucene.index.IndexWriter public abstract class Directory org.apache.lucene.store.Directory public abstract class Analyzer org.apache.lucene.analysis.Analyzer public final class Document org.apache.lucene.document.Document public final class Field org.apache.lucene.document.Field IndexWriter IndexWriter是在索引过程中的中心组件。 IndexWriter这个类创建一个新的索引并且添加文档到一个已有的索引中。你可以把IndexWriter想象成让你可以对索引进行写操作的对象，但是不能让你读取或搜索。 IndexWriter不是唯一的用来修改索引的类 org.apache.lucene.index.IndexWriter public IndexWriter(String?path, Analyzer?a, boolean?create) …… Parameters: path - the path to the index directory a - the analyzer to use create - true to create the index or overwrite the existing one; false to append to the e