学位论文-信息检索论文基于lucene的实验.doc

基于Lucene的报告  信息检索系统介绍 信息检索系统是借助信息检索技术，如全文检索等手段帮助用户检索特定信息的工具。它可以正确地表示，存储和组织信息，同时还提供信息的访问。在这里，信息的概念是非常广泛的，它可以是一篇文章，一个文本，一个网页，一封电子邮件，一张照片，甚至是一个收集的虚拟信息。 检索的整个过程包括：文本数据库的构建、索引和检索。 信息检索的过程: 1 建立一个文本库 一个信息检索系统需要准备之前，搜索功能的开发。首先，必须建立一个文本数据库。该文本数据库用于存储用户可以检索的所有信息。在此基础上，确定了检索系统中的文本模型。文本模型是一种被系统识别的信息格式，具有冗余性低等特点。当然，在系统的运行过程中，文本数据库的信息可能会不断变化。 2建立索引 当您拥有文本模型时，您应该创建一个基于数据库中的文本的索引.。索引可以大大提高信息检索的速度。建立索引的方法有多种，这取决于信息检索系统的大小。大规模的信息检索系统（如百度，谷歌，如搜索引擎）被用来创建一个倒排索引。 3搜索 索引文本后，可以开始搜索它。搜索请求通常由用户提交，请求进行分析，检索结果返回索引中。 Lucene 随着系统信息的越来越多，怎么样从这些信息海洋中捞起自己想要的那一根针就变得非常重要了，全文检索是通常用于解决此类问题的方案，而Lucene则为实现全文检索的工具，任何应用都可通过嵌入它来实现全文检索。 Lucene是一个开源全文检索工具包，它是apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。 Lucene工作方式 lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。 写入流程? 源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。??将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。?? 将索引写入存储器，存储器可以是内存或磁盘。 读出流程?? 用户提供搜索关键词，经过analyzer处理。对处理后的关键词搜索索引找出对应的Document。??用户根据需要从找到的Document中提取需要的Field。 我们可以看到，Lucene的使用主要体现在两个步骤： 1 创建索引，通过IndexWriter对不同的文件进行索引的创建，并将其保存在索引相关文件存储的位置中。 一些需要用到的概念 analyzer? Analyzer?是分析器，它的作用是把一个字符串按某种规则划分成一个个词语，并去除其中的无效词语，这里说的无效词语是指英文中的“of”、?“the”，中文中的?“的”、“地”等词语，这些词语在文章中大量出现，但是本身不包含什么关键信息，去掉有利于缩小索引文件、提高效率、提高命中率。分词的规则千变万化，但目的只有一个：按语义划分。这点在英文中比较容易实现，因为英文本身就是以单词为单位的，已经用空格分开；而中文则必须以某种方法将连成一片的句子划分成一个个词语。具体划分方法下面再详细介绍，这里只需了解分析器的概念即可。 document? 用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。用户进行搜索，也是以Document列表的形式返回。 field? 一个Document可以包含多个信息域，例如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域，这些信息域就是通过Field在Document中存储的。?? Field有两个属性可选：存储和索引。通过存储属性你可以控制是否对这个Field进行存储；通过索引属性你可以控制是否对该Field进行索引。这看起来似乎有些废话，事实上对这两个属性的正确组合很重要，下面举例说明：?? 还?是以刚才的文章为例子，我们需要对标题和正文进行全文搜索，所以我们要把索引属性设置为真，同时我们希望能直接从搜索结果中提取文章标题，所以我们把标题?域的存储属性设置为真，但是由于正文域太大了，我们为了缩小索引文件大小，将正文域的存储属性设置为假，当需