《基于scrapy-Redis分布式爬虫系统设计》8900字.doc

基于scrapy-Redis分布式爬虫系统设计

摘要

现在的互联网相对于以前来说是发生了巨大的改变，如果形容之前的数据量为小河，那现在每天互联网产生的数据可以说是大海，每一秒钟都有海量的数据在产生。人们对于数据的需求也越来越大，用于各个领域的研究。不过也是因为数据量太大，导致用户无法快速有效的获取对于自己有用的信息。网络爬虫可以帮助用户获取想要的数据，提高获取数据的效率。不过单机爬虫不能够通过分布式来运行，导致效率不是太高。另外很多爬虫程序并不是免费开放的，因此深入研究爬虫系统具有重要意义

对于解决海量数据筛选并从中找出适用的信息做了研究，实现了一款以Scrapy框架为核心的分布式爬虫系