网站数据抓取与处理流程.pdfVIP

第10天

第09天回顾

数据抓取最终梳理

#响应内容中存在

1、确认抓取数据在响应内容中是否存在2、分析页面结构，观察URL地址

规律1、大致查看响应内容结构，查看是否有更改--(案例)

2、查看页面跳转时URL地址变化，查看是否新跳转--(案例)

3、开始编写代码进行数据抓取

#响应内容中不存在

1、确认抓取的数据是否存在于响应内容中2、F12抓包，开始刷新页面或

执行某些行为，主要查看XHR异步加载数据包1、GET请求：Request

Headers、QueryStringParameters2、POST请求：RequestHeaders、

FormData3、观察查询参数或Form表单数据的规律，如果需要进行进一

步抓包分析理

salt+sign,抓取并分析JS做进一步处理

1、比道翻译的

2、此处注意请求头中的