基于scrapy与redis的分布式爬虫获取全国新房二手房信息.doc

基于scrapy与redis的分布式爬虫获取全国新房二手房信息

摘要

随着大数据技术的兴起，互联网上存在着海量数据，所谓网络爬虫就是编写代码从互联网上爬取自己想要的数据。然而，在如此海量的数据面前，单点部署的单机爬虫早已不能满足人们的需求，也无法处理目前的万维网数据规模，正因如此，基于单机爬虫改造的高性能分布式爬虫系统成为当前实现的重点。

基于Python分布式房价数据抓取系统可以为数据进一步的使用即房源推荐系统做数据支持。本毕业设计致力于突破单进程单机爬虫的瓶颈，设计出一个基于Redis分布式多爬虫共享队列的主题爬虫。本系统主要采用Python开发的Scrapy框架来开发，Pycharm