lucene索引简单介绍__索引介绍.pptVIP

Lucene：基于Java的全文检索引擎简介 赵力 Lucene和数据库 Lucene的API接口设计的比较通用，输入输出结构都很像数据库的表==记录==字段，所以很多传统的应用的文件、数据库等都可以比较方便的映射到Lucene的存储结构/接口中。总体上看：可以先把Lucene当成一个支持全文索引的数据库系统。 Lucene和数据库 Lucene中最基本的概念有：index, document, term. Index包含一个document序列（document的有序集合）。 1 一个document是一个field序列（field的有序集合） 2 一个field是一个term的命名序列。 3??一个term是一个字符串。 ????在两个不同field中的同一个字符串被认为是不同的term。因此terms是用一个字符串对来表示，第一个字符串的名字是field，第二个字符串的名字是text.  Lucene和数据库 全文检索 通常比较厚的书籍后面常常附关键词索引表（比如：北京：12, 34页，上海：3,77页……），它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样，想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所以效率高，另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。 全文检索 由于数据库索引不是为全文索引设计的，因此，使用like %keyword%时，数据库索引是不起作用的，在使用like查询时，搜索过程又变成类似于一页页翻书的遍历过程了，所以对于含有模糊查询的数据库服务来说，LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配：like%keyword1% and like %keyword2% ...其效率也就可想而知了。 全文检索 全文检索 索引搜索原理 Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。 下面是一个实例： 设有两篇文章1和2　　文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too.　　文章2的内容为：He once lived in Shanghai. 1）由于lucene是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我们需要如下处理措施: a.找出字符串中的所有单词，即分词。英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。 b.过滤掉无具体含义 的词语如：英文：in,too,once等，中文:是，的等 * * RecordSet：查询结果集，由多个Record组成 Hits：查询结果集，由匹配的Document组成 Field：字段 Field：字段 Record：记录，包含多个字段 Document：一个需要进行索引的“单元”一个Document由多个字段组成 索引数据源：record(field1,field2...) record(field1..)\ SQL: insert/_____________| DB Index |-------------/ SQL: select \结果输出：results(record(field1,field2 索引数据源：doc(field1,field2...) doc(field1,field2...)\ indexer /_____________| Lucene Index|--------------/ searcher \结果输出：Hits(doc(field1,field2) doc(field1...)) 数据库 Lucene 所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制，将数据源（比如多篇文章）排序顺序存储的同时，有另外一个排好序的关键词列表，用于存储关键词==文章映射关系，利用这样的映射关系索引：[关键词==出现关键词的文章编号，出现次数（甚至包括位置：起始偏移量，结束偏移量），出现频率]，检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大提高了多关键词查询的效率，所以，全文检索问题归结到最后是一个排序问题。 由此可以看出模糊查询相对数据库的精确查询是一个非常不确定的问题，这也是大部分数据库对全文检索支持有限的原因。Lucene最核心的特征是通过特殊的索引结构实现了传统数据库不擅长的全文索引机制，并提供了扩展接口，以方便针对不同应用的定制。 C.单词需要统一大小写 D. 单词还原。如live”时能把含“lives”，“lived”的文章也找出来，所以需要把