爬虫技术日志：requests库使用与反爬策略.pdfVIP

Day04回顾

requests.get()参数

1、url

6、timeout

requests.post()

控制台抓包

打开方式及常用选项

1、打开浏览器，F12打开控制台，找到Network选项卡

2、控制台常用选项

1、Network:抓取网络数据包

1、ALL:抓取所有的网络数据包

2、XHR：抓取异步加载的网络数据包

2、Sources:格式化输出并打断点调试JavaScript代码，助于分析爬虫中一些参数

3、Console:交互模式，可对JavaScript中的代码进试

3、抓取具体网络数据包后

1、单击左侧网络数据包地址，进入数据包详情，查看右侧

2、右侧:

1、Headers:整个请求信息