Python爬虫技术与51job数据分析.pdfVIP

什么是爬虫？

就是抓取网页数据的程序

爬虫怎么抓取网页数据？

网页三大特征：

1网页都有自己唯一的URL

2网页都是HTML来描述页面信息

3网页都使用HTTP/HTTPS协议来传输HTML数据

爬虫的设计思路：

1.确定爬取的URL地址

requests

安装：pipinstallrequests

requests库的七个主要方法

方法解释

requests.request()构造一个请求，支持以下各种方法

requests.get()获取html的主要方法

requests.head()获取html头部信息的主要方法

requests.post()向html网页提交post请求的方法

requests.put()向html网页提交put请求的方法

requests.patch()向html提交局部修改的请求

requests.delete()向html提交删除请求

Xpath