搜索引擎文档分析子系统的设计.docVIP

摘要:随着因特网的迅猛发展、WEB信息的增加，而人们越来越依靠网络来查找他们所需要的信息，用户要在如此浩瀚的信息海洋里查找信息，就象大海捞针一样，所以如何有效的去发现我们所需要的信息，就成了一个很关键的问题。为了解决这个问题，搜索引擎随之诞生。因而也成为除了电子邮件以外最多人使用的网上服务。 但是，随着信息多元化的增长，千篇一律的给所有用户提供同一个入口显然已经不能满足特定用户更深入的查询需求。我们需要分类细致精确、对硬件要求低，数据全面深入、更新及时的搜索引擎，因而搜索引擎技术成为计算机工业界和学术界争相研究、开发的课题。 本文阐述了搜索引擎的基本原理，着重分析了中文分词的设计与实现。 关键词：互联网；搜索引擎；中文分词 Abstract:With the fast development of the Internet and the growth of the WEB information, users become more and more rely on the net to search all information they need. Its impossible for they to search information from so much information source, so how to seek all information we need effectively became a key problem. To solve this problem, the search engine arised . It became the most useful net service second to E-mail. However, with information continuing to explode in all directions, some specific kinds of users are not satisfied with only one entrance. What we need is a focused search engine, which is well classified, requesting low hardware requirement, containing profound and entire data, and being updated in time. So the industrial and technicality world of computer competed to search and develop the search engine technique. In this paper, I will show the basic of the search engine especially analyse the design and implementation of the Chinese sentence splitter . Key words: Internet；Search engine；Chinese sentence splitter 目录 前言 1 第一章 搜索引擎概述 2 1.1 Internet与WWW发展现状 2 1.1.1 Internet的发展历程 2 1.1.2 World wide web(www) 3 1.1.3 Internet的信息分布 3 1.2 搜索引擎简介 4 1.3 搜索引擎的发展 5 1.3.1 第一代搜索引擎 5 1.3.2 第二代搜索引擎 6 1.3.3 第三代搜索引擎 6 1.3.4 第四代搜索引擎 7 1.4 搜索引擎的分类 7 1.4.1 全文搜索引擎 7 1.4.2 目录索引 8 1.4.3 元搜索引擎 9 1.4.4 其他非主流的引擎 10 第二章 搜索引擎的结构介绍 11 2.1 搜索器 11 2.2 索引器 12 2.3 检索器 12 2.4 用户接口 12 2.5 小结 13 第三章 基于lucene的研究 14 3.1 lucene搜索引擎介绍 14 3.2 Lucene的特性分析 15 3.2.1 Lucene核心部分——索引排序 15 3.2. 2 Lucene的相关度积分公式 17 3.3. Lucene的其他特性 18 3.3.1. Boosting特性 18 3.3.2. Indexing Date 19 3.3.3. Indexing 数字 19 3.3.4. 排序 19 3.3.5. RAMDirectory 和 FSDirectory 转化 20 3.3.6. 为查询优化索引(index) 20 3.3.7.