Python程序开发实战入门第十一章.pdfVIP

第11章网络爬虫

Python程序开发实战入门

在大数据时代，要进行数据的分析，首先就要有数据，而爬虫就是一种获取数据的方式，使用爬虫可以让我们轻松的获

取网页上的各种数据，并且可以根据公司的实际业务需求选择性的获取数据。本章先介绍爬虫的基本概念，再次介绍Python中

运用Selenium库，包括Selenium库的安装、chromedriver的安装，其次介绍Python中最常用的Scrapy框架的整体架构、组

成和安装，再次介绍分布式爬虫的应用场景和原理，然后介绍一个比较常用的爬虫框架Scrapy-redis的整体架构、组成和安装，

最后介绍常见的反爬虫方式和常见的发爬虫方案。

网络爬虫

知识目标能力目标

1、了解爬虫的基本概念。1、掌握Selenium库的安装。

2、了解多线程网络爬虫的原理。2、掌握Scrapy框架的整体架构、组成、安装

和

3、了解分布式爬虫的应用场景和原理。*简单使用。

4、了解爬虫和反爬虫的关系。3、掌握Scrapy-redis框架的整体架构和组成、

安装和简单使用。4、掌握常用的3种反爬虫方

式（headers反爬虫方式、基于用户行为的反

爬虫方式和动态页面反爬虫方式）

Python程序开发实战入门

11.1爬虫与Selenium

11.1.1爬虫

在互联网发展的过程中，随着互联网技术的发展和各种智能终端的普及，我们已经从信息时

代步入数据时代，网络中的各种数据呈现爆发式的增长。现在流行的网络服务，时时刻刻都在产生

着数以万计的数据。这些数据包含了大量的信息，而网络爬虫是获取这些数据的一种方式。只有有

了大量的数据，后期的数据分析和建模预测才成为可能。网络爬虫又称为网络蜘蛛或者网络机器人，

*

是指能按照一定的规则模拟用户的操作行为，自动抓取网络信息的程序或者脚本。当我们需要获取

大量信息时，网络爬虫就可以模拟用户操作进行网页信息的获取和收集工作，并按着指定的要求持

久化到数据库中。

Python程序开发实战入门

11.1爬虫与Selenium

11.1.2Selenium

Selenium本身是一个Web自动化测试工具，最初是为了网页自动化测试而开发的，可

按照指定的命令自动操作。Selenium作为最基础的爬虫框架，可以根据指令使浏览器自动加载页

*

面，获取需要的数据。同时Selenium支持众多的浏览器，包括谷歌浏览器、Edge浏览器和火狐

浏览器等。通常通过Selenium库中WebDriver与页面上的元素进行交互来运行网络爬虫。

Python程序开发实战入门

11.1爬虫与Selenium

11.1.3安装Selenium