Python网络爬虫实战：手把手教你爬取微博评论区数据.pdfVIP

Python⽹络爬⾍实战：⼿把⼿教你爬取微博评论区数据 ⼤家好，我是机灵鹤。 前⼏ 群⾥有个粉丝问我，怎么爬取 新浪微博的评论 ，他希望爬取⼈民⽇报的微博评论区数据，然后做⼀些相关的数据分析。 本篇博客，我会⼿把⼿教你们如何爬取新浪微博的评论区数据。 1. 思思路路分分析析 本节中，我会详细讲解如何分析⽹站，如何抓包，如何抓取关键参数等，想要学习爬⾍的同学，建议耐⼼看完。 1.1 分分析析 ⽹⽹站站 如下，是博主 吃花椒的喵酱 发布的⼀条微博，我们以此条微博为例进⾏分析。 当点击中间的 评论 图标时，会显⽰部分评论数据。 评论区划到最下⽅，显⽰ 查看全部3436条评论 字样，点击后，可以加载显⽰全部的评论。当评论区滚动条不断下划时，新的评论数据会 源源不断 动态加载 进来，直到全部显⽰完。 1.2 抓抓包包分分析析 接下来，我们在浏览器中 （按 F12 ）打开 开发者⼯具 ，切换到 Network 页签，开始抓包。 当评论区页⾯不断下划时，右侧随之不断出现新的请求消息，这个过程就是所谓的 抓包 ，右侧的请求列表就是我们抓到的 包 。点击列表⾥ 的每个包，可以查看该包的请求头，响应数据等。 在预览列表中 buildComments?fl... 包的响应内容时，我们惊奇的发现，评论数据就包含在这条请求⾥，包括了 评论内容 ， 评论时间 ，