luence技术.docVIP

一、Luence技术的产生背景 信息化进程的加快和深入，越来越多的企业建起了自己的企业网站(Intranet)，而且这样的网站规模越来越大，数据越来越多、种类也越来越丰富，导致的结果是用户要在这些数据中找出自己感兴趣的信息越来越困难，不借助搜索引擎做到这一点似乎变得越来越不可能。利用Google这样的大型商业搜索引擎提供的站内搜索功能当然也是一个选择，但它毕竟是为了满足绝大多数企业站内搜索的共同需求设计，缺乏个性化，同时还有一些其他缺点，比如：①能够索引的内容有限：搜索引擎并不会将网站所有的内容都索引进去，并且通常只能搜集网页信息，而无法搜集文本、pdf、word等数据文件的信息或者数据库数据；②更新慢：搜索引擎针对站点的更新频率也是有一定周期的，很多内容需要一定时间后才能进入索引；③内容不精确：搜索引擎需要从页面内容提取文本数据，但这种机制很难避免数据的重复。所以企业越来越需要自己的站内搜索引擎来为用户提供更高质量的检索服务。在这样的背景下产生了Luence。 Luence是apache软件基金会4 jak工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索arta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的引擎。 套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucen供了一个简单确强大的应用程式接口，能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开放源代码工具;就其本身而论，Lucene是现在并且是这几年，最受欢迎的免费java资讯检索程式库。人们经常提到资讯检索程式库，就像是搜寻引擎，但是不应该将资讯检索程式库与网搜索引擎相混淆。 Lucene分析图 Lucene进行全文检索的过程有点类似数据库的这个过程，table-查询相应的字段或查询条件-返回相应的记录，首先是IndexWriter，通过它建立相应的索引表，相当于数据库中的table，在构建此索引表时需指定的为该索引表采用何种方式进行构建，也就是说对于其中的记录的字段以什么方式来进行格式的划分，这个在Lucene中称为Analyzer，Lucene提供了几种环境下使用的Analyzer：SimpleAnalyzer、StandardAnalyzer、GermanAnalyzer等，其中StandardAnalyzer是经常使用的，因为它提供了对于中文的支持，在表建好后我们就需要往里面插入用于索引的记录，在Lucene中这个称为Document，有点类似数据库中table的一行记录，记录中的字段的添加方法，在Lucene中称为Field，这个和数据库中基本一样，对于Field Lucene分为可被索引的，可切分的，不可被切分的，不可被索引的几种组合类型，通过这几个元素基本上就可以建立起索引了。在查询时经常碰到的为另外几个概念，首先是Query，Lucene提供了几种经常可以用到的Query：TermQuery、MultiTermQuery、BooleanQuery、WildcardQuery、PhraseQuery、PrefixQuery、PhrasePrefixQuery、FuzzyQuery、RangeQuery、SpanQuery，Query其实也就是指对于需要查询的字段采用什么样的方式进行查询，如模糊查询、语义查询、短语查询、范围查询、组合查询等，还有就是QueryParser，QueryParser可用于创建不同的Query，还有一个MultiFieldQueryParser支持对于多个字段进行同一关键字的查询，IndexSearcher概念指的为需要对何目录下的索引文件进行何种方式的分析的查询，有点象对数据库的哪种索引表进行查询并按一定方式进行记录中字段的分解查询的概念，通过IndexSearcher以及Query即可查询出需要的结果，Lucene返回的为Hits.通过遍历Hits可获取返回的结果的Document，通过Document则可获取Field中的相关信息了。1：lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。 1.1 写入流程源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword，将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Fi