单元4 数据采集与清洗.pdfVIP

单元4数据采集与清洗

Requests客户端数据采集

教学目标

（1）了解Requests和BeautifulSoup库的相关知识；

（2）熟悉Requests和BeautifulSoup库的简单安装；

（3）掌握Requests库的相关使用；

（4）具有实现APP数据采集的能力。

重点、难点

（1）熟悉Requests库的相关知识；

（2）熟悉Requests数据采集的方法。

Requests库

Requests基本使用

（1）requests.request()

一个构造并发送Request对象且返回Response对象的requests.request()方法，其是获取网页信息、提交数据等

操作的基石。

（2）requests.get()

requests.get()方法的作用与requests.request(method=GET,url)方法的作用是相同的，主要用于请求url位置

的资源。

（3）requests.post()

如果想要提交数据，则需要使用requests.post()方法实现，通过向requsts.post()方法传递数据，即可发送一些

编码为表单形式的数据。

Requests库

Requests基本使用

（4）requests.head()

requests.head()方法主要用于实现访问资源响应的头部信息的获取。

（5）requests.put()

requests.put()方法与requests.post()方法都是用来提交数据到指定地址，但requests.post()方法

只是用来提交数据不会伴随着别的操作，而requests.put()方法则是提交数据后覆盖全部原有的数据。

（6）requests.delete()

requests.delete()方法主要用于请求删除链接地址存储的资源。

Requests库

Requests高级使用

（1）文件上传

文件上传就属于文件数据的提交，通过使用requests.post()方法将文件数据传递给files参数即可实现文件的

上传

（2）Cookies

在Requests库中Response对象的属性就包含了获取Cookies的方法

（3）超时设置

超时时间的设置使用的是timeout参数，当设置超时时间后，如果超过了设置的时间请求还没有响应，就会

抛出异常

Requests库

Requests高级使用

（4）证书验证

在发送HTTP请求时会自动进行SSL证书的检查，当证书并没有被官方CA机构所信任时，就会出现证书

验证错误的结果

（5）代理设置

频繁的请求会造成用户在一段时间不能进行访问。可以通过proxies参数进行代理设置来解决这个问题

（6）异常处理

在进行http请求的发送时，由于各种各样的原因，requests库中包含方法进行请求可能会出现失败而抛出

异常，而所有能够见到的requests抛出的异常都是通过requests库中

的requests.exceptions.RequestException类继承的

BeautifulSoup

BeautifulSoup使用

（1）标签选择器

标签选择器可以直接通过标签的名称进行节点元素的选择，包含：普通节点、子节点、子孙节

点、父节点、兄弟节点等，node参