技能训练 技能训练 数据采集系统的部署-技能训练.docxVIP

数据采集子系统部署 实训指导书 任务说明 任务内容 在Linux（CentOS7）操作系统的服务器集群的服务器集群上部署基于Scrapy爬虫框架的数据采集系统 知识点/技能点 Scrapy爬虫框架基础知识 Python虚拟环境 SpiderKeeper简介 RedisDesktopManager简介 Linux中命令：source，pip，nuhup 任务目标（效果） 在用VMware配置的CentOS7虚拟机服务器集群上成功部署基于Scrapy爬虫框架的数据采集系统，用SpiderKeeper进行爬虫任务管理，用RedisDesktopManager验证数据采集系统的运行结果 任务准备 环境要求 1台装有Win10（64位）操作系统的PC，要求配有8G以上内存，Intel(i5，64位)以上的CPU，100G以上的硬盘空间 用VMware WorkStation配置好的3台CentOS7虚拟机服务器集群（见服务器虚拟机的安装配置实训指导书和CDH环境配置实训指导书） 虚拟机服务器集群各个服务器已经成功安装Python-3.6.4（见Python安装实训指导书）、MySQL，并且成功安装部署了Redis存储服务（见Redis安装配置实训指导书） 背景知识 基于Scrapy爬虫框架的数据采集系统 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它可以应用在包括数据挖掘，信息处理以及存储历史数据等一系列的程序中。其最初是为了页面抓取（更确切来说, 网络抓取）所设计的， 也可以应用在获取API所返回的数据或者通用的网络爬虫。数据采集系统是基于Scrapy爬虫框架而设计的，其体系结构如图1所示： 图 SEQ 图 \* ARABIC 1数据采集子系统架构 Scrapy框架中各个组件的作用如下所列： Scrapy Engine引擎：相当于爬虫的“大脑”，是整个爬虫的调度中心，负责控制数据在系统中所有组件中流动，并在相应动作发生时触发事件； 调度器(Scheduler)：调度器从引擎接受Request并将他们入队，以便之后引擎请求时提供给引擎，初始的爬取URL和后续在页面中获取的待爬取的URL都将放入调度器中，等待爬取。同时调度器会自动去除重复的URL； 下载器(Downloader)：负责获取页面数据并提供给引擎，然后提供给Spider； 爬虫（Spiders）：是Scrapy用户编写用于分析Response并提取Item(即获取到的Item)或额外跟进的URL的类。 每个Spider负责处理一个特定(或一些)网站; 信息管道(Item Pipeline): 当页面被爬虫解析所需的数据存入Item后，将被发送到项目管道(Pipeline)，并经过几个特定的次序处理数据，最后存入本地文件或存入数据库； 下载器中间件(Downloader middlewares)：通过设置下载器中间件可以实现爬虫自动更换User-agent、IP等功能，处理Downloader传递给引擎的Response； Spider中间件(Spider middlewares)：处理spider的输入(response)和输出(items及requests)； Redis：提供Items和URL的存储服务； 数据采集系统中典型的数据流如下所示： 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 引擎向调度器请求下一个要爬取的URL。 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。 Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。 (从第2步)重复直到调度器中没有更多地request，引擎关闭该网站。 Python虚拟环境 Python本身有很多个版本，第三方的Python包和框架又有很多可用的版本，所以经常会遇到下面的问题： 运行不同的Python程序，需要使用不同版本的Python（2.x或3.x）。 2. 在同一中Python版本中，可能需要用到不同版本的第三方包，例如：Django 1.6或者Dj