搜索引擎毕业论文-终稿要点.doc

　　学校代码：10200　　　　　　　　 学号：1272409029 本科毕业论文 基于NoSQL的搜索引擎设计与实现 Design and Implementation a Search Engine based on the NoSQL 指导教师：张邦佐教授 学科专业：计算机科学与技术（师范） 学 院：计算机科学与信息技术 东北师范大学学位评定委员会 2013年 5月 网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情，建立搜索引擎就是解决这个问题的最好方法。搜索引擎，通常指的是收集了因特网亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有包含了该关键词的网页都将作为搜索结果被检索到并展示出来。 主要是研究了搜索引擎的实现。首先数据抓取基于Nutch系统的和实现，命令执行，后台会自动抓取，并到分布HBase数据库中。为伪分布存储本文的实现重点，adoop，HBase，Zookeeper部署分布式，utch抓取到数据到伪分布式HBase中，器为存储的数据进行索引。的索引目前关键字的索引工作做得很少，只是基本实现了数据的基本索引，没有真正但实现了以方式对外提供请求接口，做到组件低耦合，各组件提升独立列表的展示strap，以及的，将关键字向内部发起请求，获取数据展示于前端。实现所需要的分布运行环境，配置好伪分布开发环境，环境，测试环境，是部件能正常运行的基础。 抓取网页数据，存储到伪分布式中，Java实现对提供查询接口，接口获取关键字索引的数据，并展示给用户。 关键词：搜索引擎；网络；检索；  Abstract Network is very rich in resources, but how to search the effective information is a difficult thing, the best way to build a search engine is to solve this problem. Search engine, usually refers to the collection of the hundreds of billions of webpage and webpage in each word (i.e. keywords) index, full-text indexing database search engine. When a user searches a keyword, all contain the keyword webpage will be as the search results retrieved and displayed. This paper is a basic implementation of the search engine. The first is data capture, and implementation of the Nutch crawler system based on the deployment, grab the command has completed, the background will be automatically crawl the webpage, and stored in the pseudo distributed HBase database. Then NoSQL data storage based on pseudo distribution, as the key point, the realization of the Hadoop, HBase, Zookeeper deployment pseudo distributed environment, Nutch to capture data storage to the pseudo distributed NoSQL database in HBase. The work of the indexing keywords is little, but the basic realization of the basic index data; on other hand in order to realize the Http request request interface providing, do component and low coupling, each component maintenance