【《基于Python的分布式爬虫系统设计7500字（论文）》】 .pdf

基于Python的分布式爬虫系统设计

摘要

在这个互联网飞速发展的时代下，随着互联网网络规模和用户数量的爆炸性增，

相关的服务和信息量也随之快速增，单纯依赖计算机单机处理能力的集中式网络爬虫

信息采集的速度已经无法满足快速获取大量数据的需求。分布式网络爬虫由可并行获取

资源的多个节点爬虫组成，具有良好的可扩展性，它们在数据检索方面的优秀表现受到人

们的欢迎。因此，本文将根据平台的需求，设计出一个个性化的高效的分布式网络爬虫。

本文依托针对上述课题展开研究，设计并实现了一个分布式网络爬虫。本文在对当

前流行的分布式网络爬虫的相关技术进行了一定研究的基础上，根据需求分析设计理念,

结合代码介绍爬虫的设计细节，通过对比实验体现分布式爬虫的优势，并作出总结，提

出展望。

本文所研究设计的分布式网络爬虫系统，最大限度地利用了爬虫和网络带宽，不仅

提高了计算机信息采集的速度，降低了系统损耗，而且加强了系统的可扩展性，能帽适

应更多类型的数据。

关键词：Python,分布式爬虫，scrapy,Redis,MongoDB

目录

第1章绪论2

1.1研究背景及意义2

1.1.1系统背景2

1.1.2系统开发意义2

1.2研究方向与内容3

第2章相关工具和理论介绍4

2.1Python概述4

2.2Hadoop概述4

2.3Scrapy框架简介4

2.4Redis数据库6

2.5MonggoDB数据库6

第3章系统需求分析7

3.1功能需求7

3.2用例图

3.3架构意图

3.4功能架构划分9

3.5程序流程图10

第4章数据库设计12

4.1数据库E-R图12

1

4.2数据库表及其结构12

第5章系统详细设计与实现13

5.1爬虫的设计与实现13

5.1.1爬取策略的设计的设计与实现13

5.1.2爬虫的具体实现14

5.1.3去重与增量爬取15

5.2爬虫防屏蔽组件的实现16

5.3数据处理1

第6章系统运行21

第7章系统测试22

7.1测试简介22

7.2测试结果23

参考文献25

第1章绪论

1.1研究背景及意义

1.1.1系统背景

近年来，互联网正处于稳重求快的阶段，互联网正在全面渗透于我们的日常生活中,

在很多方面改变和改善我们的生活和工作形态。当前互联网已经成为影响我国经济社会

发展、改变人们生活形态的关键行业，膨胀的网民数量给搜索引擎的发展带来了极大的

机遇。为了更好地解决这个问题，怎样从越来越大的数据资料源中以更快的速度、极高

的效率、很高的安全性寻找到对网络使用者有价值的数据成为了搜索引擎的主要目标。

在海量数据的现状下，想要解决网络搜索问题，单纯地依赖计算机单机处理能力是几

乎完成不了的，即使是提升计算机硬件方面的功能，也不可能赶上信息增的速度。经

过研究者的潜心钻研，他们提出了分布式信息检索技术。该技术一经发布，便得到了极

大的关注，目前几乎所有的大型搜索系统都使用了分布式的体系构造，众所周知的

Google和百度，它们的搜索引擎系统便是采用这一体系，利用分布式网络爬虫提高数

据检索的效率。

分布式搜索系统采用分布式信息检索技术，以分布式网络爬虫为基础，联结互联网

中的多个机器，协调解决大规模数据的处理、索弓I和检索问题。其中，分布式搜索引擎

的核心功能是由分布式网络爬虫实现的。

1.1.2系统开发意义

2

随着大数据时代的到来，如何采集庞大的数据库也是目前难题之一，这个时候网络

爬虫就变成了一个必不可少的东西，其中爬虫又分为单机爬虫和分布式爬虫。

分布式爬虫是在多台机器