搜索引擎的研究与设计-计算机应用技术专业论文.docxVIP

摘要 摘要随着互联网信息量成倍地增长，人们在浩瀚的网络中搜索出满足自己需求的 信息就犹如大海捞针。而搜索引擎的出现使得这一难题基本得到解决。搜索引擎 的作用在于通过搜集并整合来自互联网络的内容，从而帮助人们找到自己需要的 资讯。搜索引擎的出现，对人们的工作生活影响巨大。人们足不出户就可以搜集 到大量的有用信息，从而解决了因信息不对称产生的负面影响。而且，比起传统 的信息搜集方式，有了搜索引擎的帮助，信息搜集的成本大幅减少。搜索引擎在整个互联网中搜集数据，然后对这些数据进行预处理，最后返回 满足用户搜索条件的相关信息。它所涉及的计算机领域众多，有信息检索、人工 智能、数据挖掘、分布式计算、数据库技术等，是一门交叉领域，其构建过程无 论在软件开发还是硬件集群方面，都是一项难度较大的系统工程。本文主要进行了以下几方面的工作： 首先，本文研究分析搜索引擎技术原理与实现状况。重点研究了搜索引擎实现所需要的信息检索理论支撑，包括检索的相关度模型：布尔模型、向量空间模 型以及统计语言模型。而本文对于检索相关度所采用的理论模型是向量空间模型。其次，对搜索引擎系统进行需求分析与概要设计，既明确了系统应具有的功 能参数与性能指标，又对系统的设计架构进行了充分的研究与论证。最后，在完成架构设计与技术选型之后，通过使用 Lucene、Nutch 的应用编程 接口，对搜索引擎进行开发。并对系统的完善提出了解决方案。本文出于对搜索引擎进行研究的目的，构建了能够进行站内搜索以及互联网 搜索的小型搜索引擎，能够满足中小型网站的业务需要。关键词：搜索引擎，Web 数据挖掘，信息检索ABSTRACTABSTRACTSearch engine is a practical application of the joint issue of information retrieval techniques and web data mining techniques. It deals with a large amount of information extracted from Internet and Intranet. Because of building an enterprise-level search engine is such a very difficult thing, there are few search engine companies exist.In this thesis, I first introduce the principles of information retrieval and web data mining. Then, I specify and analyze the architecture of the general search engine including crawler, text parsing component, text indexing component and query processing component.In chapter one, I will tell you why I make a choice on research and design of search engine and the structure of this thesis.In chapter two, you may understand the history of Internet, the tendency of its going and what have made it sophisticated. You will be in touch with information retrieval techniques and web data mining. And sooner you would think that an incredible area. You will know what web data mining seems like and the classification of it.The chapter three, which is more detailed than chapters before, will introduce the architecture of a general search engine. The crawler (also spider) collects a large number of web pages and takes them into the processing of text parsin