基于Redis的分布式搜索引擎研究.docxVIP

基于Redis的分布式搜索引擎研究 　　摘要：　　针对互联网网内信息搜索效率低下问题，设计了以Redis数据库以及Mapreduce思想为核心的分布式搜索引擎框架。为了应对互联网信息时效性强、更新快、难以被准确检索的特点，基于该框架设计了分布式爬虫、分布式索引建立、分布式链接分析算法。该框架明显提高了信息处理的效率，为分布式搜索引擎的搭建提供有效模板。经过测试，与以基于其它主流框架搭建分布式搜索引擎相比，基于Redis的分布式搜索引擎在爬虫爬取、索引生成、链接分析性能方面均有提升。　　关键词：　　分布式搜索引擎；Redis数据库；Mapreduce思想　　DOIDOI：/　　中图分类号：TP393　　文献标识码：A文章编号文章编号：0XX4　　英文摘要Abstract：To tackle the inefficiency of searching information through the Internet， a distributed search engine based on the Redis Data Base and mapreduce pattern was devised. To better adapt to the situation of the Internet at present， which is characterized by timesensitive，fastupdate and searching timeconsuming features， three techniques including distributed crawler， distributed index construction and distributed link analysis algorithm is applied within our distributed search engine. The framework greatly elevate the efficiency of the information processing and provide an effective template for the construction of the distributed search engine. After testing， compared with the search engines based on the other prevalent frameworks， the performances of three aspects including crawling， index generation and link analysis of the distributed search engine based on the Redis Data Base all have a obvious elevation.　　英文关键词Key Words：distributed search engine；redis data base；Mapreduce pattern　　0引言　　XX年2月发布的《第35次中国互联网络发展状况统计报告》显示，截至XX年12月，中国网站总数已达335万个，年增长%；域名总数增至2 060万个，年??长%；网页数量为1899亿个，年??长%[1]；网页长达到。如此巨大的互联网数据，使网络爬虫对页面采集性能与效率的要求也越来越高，因此，对网页采集与链接关系的处理必须由多机并行完成。目前，国内外大型互联网公司与相关研究机构在此问题上已有一些较为成熟的解决方案，但是出于商业机密等因素考虑，这些方案一般只能为用户提供一种不可定制的搜索服务，且并未公开。　　本文通过研究搜索引擎基本体系机构及分布式的思路与技术，介绍了基于Redis的分布式搜索引擎框架，主要贡献有：①总结了基于Mapreduce原理的分布式搜索引擎工作原理；②设计了基于Redis的高效分布式搜索引擎框架；③设计了基于该框架的分布式爬虫算法、索引算法、排序算法；④实验证明了该框架的可行性。　　1搜索引擎相关性技术　　相关性研究　　Mapreduce理念在于将计算分为Map、reduce两个过程，通过键位值对说明数据信息[2]。Mapreduce是采用并行方式计算大规模数据集的编程模型，也是一种分布式计算模型，其核心组成是Map函数与reduce函数[3]。Map过程先对客户端信息进行分割，将其分割为一种类型数据块，分别调用Map函数将初始数据转化为新的中间数据。Reduce过程调用Reduce函数对于中间数据按照规约整合，得到返回值。　　分布式网络爬虫　　分布式