基于Lucene的站内新闻搜索引擎的设计与实现.docVIP

基于Lucene的站内新闻搜索引擎的设计与实现 摘要 Lucene是一个开源的用于制作搜索引擎的框架。目前第二代搜索引擎的设计思路为利用网络爬虫建立数据源，结合分词技术把数据源建成索引，利用索引从海量的数据源中得到搜索结果，对搜索的结果进行筛选和排序， 把最终的结果展示给用户。目前版本的Lucene包括基于JavaCC的标准分词类，建立索引相关类，搜索索引相关类，文档排序和相关性计算相关类等。Lucene良好的架构使得我们可以定义自己的分词类，而Lucene丰富的功能也使得我们能够根据具体的需求，建立自己所需的索引，实现多种多样的搜索方式，进行结果的筛选和排序。本文介绍了搜索引擎的相关知识，分析了Lucene源码，并对搜索引擎的未来进行了展望。本文详细介绍了自己编写的一款在上开发的基于Lucene的新闻搜索引擎，并且通过对实际项目的介绍，阐明了Lucene实现的关键和优缺点，同时还提供了一些与Lucene无关的环节的实现思路。最后对实际项目进行了测试，并分析了测试结果。 关键词：Lucene，分词，索引，搜索，排序，相关性，优缺点，搜索引擎，新闻  DESIGN ANF IMPLEMENTATION OF NEWS SEARCH ENGINE BASE ON LUCENE ABSTRACT Lucene is an open source search engine framework for developing. The second generation of search engine design idea is as follows. First, use web crawler to set up a data source. Second, segment and index the data source. Third, get the search result from the index. Fourth, sort and filter the search result. At last, feed back to user. The current Lucene version contains segment class, index class, search class, sort class and so on. Good framework makes us easy to add our own segment class. The detail implement make us easy to index, search and sort base on the requirement. This article introduces to knowledge of search engine, analysis the source of Lucene and outlook the future of search engine. This article introduces a news search engine base on Lucene on the platform detailed. Through the actual project, I elaborate the key for implement, discuss the advantages and disadvantages for using Lucene, and provide some design idea for implement the search engine. At last, I test the actual project, and analysis the result. Key words: Lucene, segment, index, search, sort, correlation, advantage, disadvantage, search engine, news  目 录 第一章 绪论 1 1.1 引言 1 1.2 Lucene简介 1 第二章 索引的建立 3 2.1 概述 3 2.2 相关的技术综述 3 2.2.1 倒排索引 3 2.3 中文分词 4 2.3.1 按字索引 4 2.3.2 中科院分词 4 2.3.3 庖丁解牛 4 2.3.4 盘古分词 4 2.3.5 Lucene标准分词 4 2.4 Lucene索引的建立 4 2.4.1 Lucene索引相关类介绍 4 2.4.2 Lucene索引结构 5 2.4.3 Lucene索引过程 5 2.4.4 Lucene索引的合并与优化 5 2.4.5 Lucene索引管理 5 第三章 搜索