基于Redis分布式搜索引擎研究.docVIP

基于Redis分布式搜索引擎研究 　　摘要： 　　针对互联网网内信息搜索效率低下问题，设计了以Redis数据库以及Mapreduce思想为核心的分布式搜索引擎框架。为了应对互联网信息时效性强、更新快、难以被准确检索的特点，基于该框架设计了分布式爬虫、分布式索引建立、分布式链接分析算法。该框架明显提高了信息处理的效率，为分布式搜索引擎的搭建提供有效模板。经过测试，与以基于其它主流框架搭建分布式搜索引擎相比，基于Redis的分布式搜索引擎在爬虫爬取、索引生成、链接分析性能方面均有提升。 　　关键词： 　　分布式搜索引擎；Redis数据库；Mapreduce思想 　　DOIDOI：10.11907/rjdk.172561 　　中图分类号：TP393 　　文献标识码：A文章编号文章编号2018）003020104 　　英文摘要Abstract：To tackle the inefficiency of searching information through the Internet， a distributed search engine based on the Redis Data Base and mapreduce pattern was devised. To better adapt to the situation of the In