Python爬虫技术与商业应用精讲.pdfVIP

本章标题

Python爬虫爬取斗图

本章知识点：

爬虫介绍

http请求

请求头部

urllib

urliib2

xpath匹配（re正则不好的）

爬虫的实现

知识点讲解：

机器学习，AI，，就是程序通过大量的数据进行逻辑判断和分析，形成类

似与人类学习的功能。

大数据分析，就是海量的分布式协调计算机和程序来对大量的数据进行处理和分

析，分析的结果就是一个规律。

爬虫：sprider，网络机器人，就是通过向web服务器发起请求，获取web资源

的程序。

商业爬虫：自定制（什么都可以爬，通过一些配置就可以实现很复杂的爬虫）+分

布式+redis（缓存数据库）+数据库（oracle，mysql）+数据入库+数据挖掘=》

机器学习或者或大数据分析

现在的爬虫工程师需求量大吗？

Web请求流程

url：统一资源定位符。实际上就是用来表示资源在那台web服务器的位置上

的一个地址。

url组成：

协议头http://https://

或主机/

路径search/index

GET请求?tn=baiduimag

http请求

当我们向网络获取资源

1.发生web服务器请求

url告诉web服务器我们想要得到的资源的位置

header头用来表示请求的，

post/getData请求的数据

2.Web服务器响应

Responseheader资部

资源本身

Urllib和Urllib2

Urllib

Urllib2

是python内置的发起web请求的模块

Urllib2.request向服务器发起请求

url地址

data请求携带的数据

headers请求的头部

urllib2.urlopen()可以将请求返回的内容转换成文件格式

urllib.urlretrieve()保存，将指定的地址的资源保存到本地

Xpath于Pythonlxml模块，是一种结构性匹配字符串的功能

字符串的匹配

Re是通过描述要匹配的内容的类型和数量来匹配内容的

\d{11}[]()

优点：正则匹配精准度很高，但是难度也很大。

Xpath是通过描述匹配内容在总内容中的结构进行匹配。

结构匹配容易，且适合大规模的匹配，必须有规定的结构才可以

使用。

实战：

环境：Python2.7.5

模块：urlliburllib2xpath

Linux：Linuxrelease7.3.1611(Core)

Python2：

pipinstalllxml

更换源，加速安装

pipinstalllxml-i

python3：

pip3installlxml

更换源，加速安装

pip3installlxml-i

Python2和python3共存的情况下：

python–mpipinstalllxml

OR

python3–mpipinstalllxml