Python爬虫技术与51job数据分析.pdfVIP

什么是爬虫？

就是抓取网页数据的程序

爬虫怎么抓取网页数据？

网页三大特征：

1网页都有自己唯一的URL

2网页都是HTML来描述页面信息

3网页都使用HTTP/HTTPS协议来传输HTML数据

爬虫的设计思路：

1.确定爬取的URL地址

安装：ƉŝƉŝŶƐƚĂůůƌĞƋƵĞƐƚƐ

ƌĞƋƵĞƐƚƐ库的七个主要方法

方法解释

ƌĞƋƵĞƐƚƐƌĞƋƵĞƐƚ;Ϳ͘构造一个请求，支持以下各种方法

ƌĞƋƵĞƐƚƐŐĞƚ;Ϳ͘获取Śƚŵů的主要方法

ƌĞƋƵĞƐƚƐŚĞĂĚ;Ϳ͘获取Śƚŵů头部信息的主要方法

ƌĞƋƵĞƐƚƐƉŽƐƚ;Ϳ͘向Śƚŵů网页提交ƉŽƐƚ请求的方法

ƌĞƋƵĞƐƚƐƉƵƚ;Ϳ͘向Śƚŵů网页提交ƉƵƚ请求的方法

ƌĞƋƵĞƐƚƐƉĂƚĐŚ;Ϳ͘向Śƚŵů提交局部修改的请求

ƌĞƋƵĞƐƚƐĚĞůĞƚĞ;Ϳ͘向Śƚŵů提交删除请求

yƉĂƚŚ介绍

yWĂƚŚ是yD路径语言（yD