Request定制请求头大数据采集技术与应用95课件讲解.pptxVIP

Request定制请求头大数据采集技术与应用

1.掌握Requests库的请求消息头部格式及其定制方法。

Request定制请求头

Request定制请求头请求体（RequestBody）请求头（RequestHeaders）请求方法（RequestMethod）请求的网址（RequestURL）请求的网址即URL，它可以唯一确定请求的资源。上图的“RequestURL”部分即为请求的网址（/）。HTTP请求可以分为四部分内容：常见的请求方法有两种：GET方法和POST方法。（1）GET方法，请求指定的网页信息，并返回网页内容，提交的数据最多只有1024字节。（2）POST方法，向指定资源提交数据并进行请求处理（如提交表单或上传文件）。数据都包含在请求体中，提交的数据没有字节限制。

Request定制请求头请求头（RequestHeaders）请求头是请求的重要组成部分，在编写爬虫程序时，大部分情况下都需要设定请求头。不同请求的请求头包含的内容不同，应用时应根据实际需求设定。请求头说明Accept指定客户端可识别的内容类型Accpet-Encoding指定客户端可识别的内容编码Accept-Language指定客户端可识别的语言类型Cookie网站为了辨别用户身份进行会话跟踪而存储在用户本地的数据，主要功能是维持当前访问会话Host指定请求的服务器的域名和端口号User-Agent使服务器识别客户端使用的操作系统及版本、浏览器及版本等信息，实现爬虫时加上此信息，可以伪装为浏览器Content-Type请求的媒体类型信息Content-Length请求的内容长度Referer包含一个URL，用户以该URL代表的页面出发访问当前请求页面

Request定制请求头请求头说明Accept指定客户端可识别的内容类型Accpet-Encoding指定客户端可识别的内容编码Accept-Language指定客户端可识别的语言类型Cookie网站为了辨别用户身份进行会话跟踪而存储在用户本地的数据，主要功能是维持当前访问会话Host指定请求的服务器的域名和端口号User-Agent使服务器识别客户端使用的操作系统及版本、浏览器及版本等信息，实现爬虫时加上此信息，可以伪装为浏览器Content-Type请求的媒体类型信息Content-Length请求的内容长度Referer包含一个URL，用户以该URL代表的页面出发访问当前请求页面

Request定制请求头importrequests

url=/top250

headers={

User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/91.0.4472.124Safari/537.36,

Accept-Language:zh-CN,zh;q=0.9,en;q=0.8,

Referer:/,

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,

Connection:keep-alive,

}

response=requests.get(url,headers=headers)

print(f请求状态码:{response.status_code})

ifresponse.status_code==200:

forkey,valueinresponse_headers.items():

print(f{key}:{value})

else:

print(f请求失败，无法获取响应头。)

Request定制请求头---服务器返回的响应头信息---Date:Sun,02Nov202508:19:59GMTContent-Type:text/html;charset=utf-8Transfer-Encoding:chunkedConnection:keep-aliveKeep-Alive:timeout=30X-Xss-Protection:1;mode=blockX-Douban-Mobileapp:0Expires:Sun,1Jan200601:00:00GMTPragma:no-cacheCache-Control:must-revalidate,no-cache,privateX-DAE-App:movieX-DAE-Instance: