全文搜索引擎的设计与实现-毕业论文.doc

江汉大学本科毕业论文（设计） PAGE PAGE I 作者声明 本人郑重声明：所呈交的学位论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。 本人完全了解有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理机构送交论文的复印件和电子版。同意省级优秀学位论文评选机构将本学位论文通过影印、缩印、扫描等方式进行保存、摘编或汇编；同意本论文被编入有关数据库进行检索和查阅。 本学位论文内容不涉及国家机密。 论文题目：全文搜索引擎的设计与实现 作者单位：江汉大学数学与计算机科学学院 作者签名：XXX 2013年 5 月 20 日 学士学位论文 论文题目 全文搜索引擎的设计与实现 （英 文） Full-text search engine design and Implementation 学 院 数学与计算机科学学院 专 业 计算机科学与技术 班 级 姓 名 XXX 学 号 200708202137 指导老师 YYY 2013 年5月20日 摘要 目前定制和维护搜索引擎的需求越来越大，对于处理庞大的网络数据，如何有效的去存储它并访问到我们需要的信息，变得尤为重要。Web搜索引擎能有很好的帮助我们解决这一问题。 本文阐述了一个全文搜索引擎的原理及其设计和实现过程。该系统采用B/S模式的Java Web平台架构实现，采用Nutch相关框架，包括Nutch，Solr，Hadoop,以及Nutch的基础框架Lucene对全网信息的采集和检索。文中阐述了Nutch相关框架的背景，基础原理和应用。 Nutch相关框架的出现，使得在java平台上构建个性化搜索引擎成为一件简单又可靠的事情。Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎。目前国内有很多大公司，比如百度、雅虎，都在使用Nutch相关框架。由于Nutch是开源的，阅读其源代码，可以让我们对搜索引擎实现有更加深刻的感受，并且能够更加深度的定制需要的搜索引擎实现细节。 本文首先介绍了课题研究背景，然后对系统涉及到的理论知识，框架的相关理论做了详细说明，最后按照软件工程的开发方法逐步实现系统功能。 关键词 Nutch、Solr、Hadoop、Lucene、搜索引擎 Abstract Currently, the requirement of customizing and the search engine maintenance is larger and larger. For dealing with such enormous network data, especially, how to store it and access our necessary information has become so significant. However,web search engine can help us to solve this problem well. This?acticle?describes?the?principle?of?full-text?search?engine,and?the?process?for?its?design?and?implementation.?This?system?adopts?Java?Web?platform?with?B/S?model,?and?also?the?relative?frame?of?Nutch,?including?Nutch,Solr,Hadoop,?and?collection?and?inspection?for?whole network?information?based?on?Lucene--the?foundation?of?Nutch.?All?in?all,?this?text?mainly?elaborates?the?backgroud?of?relative?frame,?basical?principle,?and?application?for?Nutch. The?appearance?of?Nutch?related?framework,?makes?that?building?an?personalized?search?engi