（毕业论文设计）-基于NoSQL技术的搜索引擎设计与实现（学术精品）.docVIP

　　学校代码：10200　　　　　　　　 学号：1272409029 本科毕业论文 基于NoSQL技术的搜索引擎设计与实现 Design and Implementation a Search Engine based on the NoSQL 作 者： 指导教师： 副教授 学科专业：计算机科学与技术（师范） 学 院：计算机科学与信息技术 东北师范大学学位评定委员会 2013年 5月 摘 要 网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情，建立搜索引擎就是解决这个问题的最好方法。搜索引擎，通常指的是收集了因特网数百亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有包含了该关键词的网页都将作为搜索结果被检索到并展示出来。 本文主要是研究了搜索引擎的基本实现。首先是数据抓取，基于Nutch爬虫系统的部署和实现，抓取命令执行完毕，后台会自动抓取网页，并存储到伪分布式HBase数据库中。其次为基于NoSQL的数据伪分布存储，为本文的实现重点，Hadoop，HBase，Zookeeper部署伪分布式环境，Nutch抓取到的数据存储到伪分布式NoSQL数据库HBase中，索引器为存储的数据进行索引。还有关键字的索引，目前关键字的索引工作做得很少，只是基本实现了数据的基本索引，没有真正实现倒排索引；但实现了以Http请求方式对外提供请求接口，做到组件低耦合，各组件维护提升自由独立。最后结果列表的展示，基于Bootstrap，以及Java提供的Http接口，将以关键字向内部发起请求，获取数据展示于前端。此外引擎实现所需要的伪分布运行环境部署，配置好NoSQL伪分布与开发环境，调试环境，测试环境，这个是所有部件能正常运行的基础。 本文基于NoSQL技术实现了一个搜索引擎构架，通过爬虫抓取网页数据，存储到伪分布式NoSQL数据库中，Java类实现对前端提供查询接口，PHP调用接口获取关键字索引的数据，并展示给用户。 关键词：搜索引擎；网络爬虫；检索；NoSQL；HBase  Abstract Network is very rich in resources, but how to search the effective information is a difficult thing, the best way to build a search engine is to solve this problem. Search engine, usually refers to the collection of the hundreds of billions of webpage and webpage in each word (i.e. keywords) index, full-text indexing database search engine. When a user searches a keyword, all contain the keyword webpage will be as the search results retrieved and displayed. This paper is a basic implementation of the search engine. The first is data capture, and implementation of the Nutch crawler system based on the deployment, grab the command has completed, the background will be automatically crawl the webpage, and stored in the pseudo distributed HBase database. Then NoSQL data storage based on pseudo distribution, as the key point, the realization of the Hadoop, HBase, Zookeeper deployment pseudo distributed environment, Nutch to capture data storage to the pseudo distributed NoSQL database in HBase. The work of the indexing keywords is