高效简易网页数据爬取技巧.pptVIP

简单静态网页爬取

;1;许多Python的原生系统已经开始使用urllib3库，其提供了很多python标准库里所没有的主要特性。

;通过request方法即可创建一种祈求，该方法返回一种HTTP响应对象。Reques语法格式如下。

reques方法常用的参数及其说明如下。;在request方法中，如果需要传入headers参数，可通过定义一个字典类型实现。定义一个包含User-Agent信息的字典，使用浏览器为火狐和chrome浏览器，操作系统为“WindowsNT6.1;Win64;x64”，向网站“://.tipdm./tipdm/index.html”发送带headers参数的GET请求，hearders参数为定义的User-Agent字典。

;为预防因为网络不稳定、服务器不稳定等问题造成连接不稳定时的丢包，能够在祈求中增长timeout参数设置，通常为浮点数。依据不同需求，timeout参数提供各种设置方法，可直接在URL后设置该次祈求的全部timeout参数，也可分别设置该次祈求的连接与读取timeout参数，在PoolManager实例中设置timeout参数可应用至该实例的全部祈求中。

;urllib3库能够通过设置retries参数对重试进行控制。默认进行3次祈求重试，并进行3次重定向。自定义重试次数通过赋值一种整型给retries参数实现