Request库发送请求大数据采集技术与应用14课件讲解.pptxVIP

Request库发送请求大数据采集技术与应用

1.掌握Requests库构建请求消息的核心机制

Request库发送请求Requests常见方法开发过程中有可能使用到的Http请求有Post、Delete、Put、Get，分别对应增删改查四种方式。Requests库针对各种请求方式都进行良好的封装。使用Requests发送请求前，必须使用importrequests导包。Requests库的主要请求方法如下表所示。

Request库发送请求2.3.3请求方法GET方法**kwargsurlparamsGET方法通过get()函数实现，其函数原型如下：get(url，params=None,**kwargs)（1）url：请求的URL。这是必传参数，其他都是可选参数。（2）params：支持字典或字节序列，库会自动将其拼接至URL末尾。（3）**kwargs：控制访问的参数，如headers、cookies、timeout和proxies等。

Request库发送请求2.3.3请求方法GET方法调用函数后，返回一个Response类型的对象，该对象提供的属性和方法如表所示。属性/方法说明status_code获取响应状态码headers获取响应头request.headers获取请求头url获取请求的URLencoding获取从HTTPheaders中猜测的响应内容编码方式apparent_encoding获取从响应内容分析出的编码方式content获取二进制类型的响应内容，会自动解码gzip和deflate编码的响应内容text获取文本类型的响应内容json()返回JSON类型数据raise_for_status()若是status_code不是200，则会抛出异常

Request库发送请求2.3.3请求方法GET方法importrequests#1.准备目标URL和参数url=/getparams={name:‘puma,version:1.0}#2.发送GET请求，并传入参数response=requests.get(url,params=params)#3.打印关键响应信息print(f请求的最终URL:{response.url})print(fHTTP响应状态码:{response.status_code})#4.解析并打印返回的JSON数据print(\n服务器返回的JSON内容:)print(response.json())

Request库发送请求2.3.3请求方法GET方法请求的最终URL:/get?name=geminiversion=1.0HTTP响应状态码:200服务器返回的JSON内容:{args:{name:gemini,version:1.0},headers:{Accept:*/*,Accept-Encoding:gzip,deflate,Host:,User-Agent:python-requests/2.28.1,X-Amzn-Trace-Id:Root=...},origin:your_ip_address,url:/get?name=geminiversion=1.0}

Request库发送请求2.3.3请求方法GET方法POST方法通过post()函数实现，其函数原型如下：post(url,data=None,json=None,**kwargs)（1）url：请求的URL。这是必传参数，其他都是可选参数。（2）data：字典、字节序列或文件对象，作为请求体的内容。（3）json：JSON格式的数据，作为请求体的内容。（4）**kwargs：控制访问的参数，如params、headers、cookies、timeout和proxies等。post()函数同样返回一个Response类型的对象。

Request库发送请求2.3.3请求方法GET方法importrequests#目标URLurl=/post#准备要提交的JSON数据json_payload={user_id:123,items:[apple,banana]}#发送POST请求，使用json参数response=requests.post(url,json=json_payload)#打印服务器返回的内容，重点关注json字段print(\n------提交JSON数据(json)------)print(fHTTP状态码:{response.stat