基于Python历史文章爬取方法.pdfVIP

抓取所有文章

我们按照第三节使用

Fiddler

抓包方式，打开某个

文章列表，上拉加载更多，找到加载更多文章的

URL

请求地址，你会

看到

Fiddler

会有一个加载更多文章列表的请求。

分析抓包数据

该接口返回的数据是JSON格式，这种数据格式处理起来非常方便，首先我

们把数据拷贝到Chrome插件JSONEditor或者找一个JSONOnline

Formatter

()对返回的数据进行

格式化处理，以便查看每个字段所代表的意义。

抓取所有⽂章

我们按照第三节使⽤Fiddler抓包⽅式，打开⼿机某个历

史⽂章列表，上拉加载，找到加载⽂章的URL请求地址，

你会看到Fiddler会有⼀个加载⽂章列表的请求。

分析抓包数据

该接⼝返回的数据是JSON格式，这种数据格式处理起来⾮常⽅便，

⾸先我们把数据拷⻉到Chrome插件JSONEditor或者找⼀个JSON

OnlineFormatter

(