一篇文章教会你使用Python定时抓取微博评论.docxVIP

一篇文章教会你使用Python定时抓取微博评论 IT共享者 Python爬虫与数据挖掘 2021-03-20 点击上方“IT共享之家”，进行关注 回复“材料”可获赠Python学习福利 【Part1——理论篇】 ????试想一个问题，假如我们要抓取某个微博大V微博的评论数据，应当怎样实现呢？最简约的做法就是找到微博评论数据接口，然后通过转变参数来猎取最新数据并保存。首先从微博api查找抓取评论的接口，如下图所示。 ????但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开头起飞，就凉凉了。 ????接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓取评论的微博，打开扫瞄器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。 ????之后点击“参数”选项卡，可以看到参数为下图所示的内容： ????可以看到总共有4个参数，其中第1、2个参数为该条微博的id，就像人的身份证号一样，这个相当于该条微博的“身份证号”，max_id是变换页码的参数，每次都要变化，下次的max_id参数值在本次恳求的前往数据中。 【Part2——实战篇】 ????有了上文的基础之后，下面我们开头撸代码，使用Python进行实现。 ??? 1、首先区分url，第一次不需要max_id,其次次需要用第一次前往的max_id。 ??? 2、恳求的时候需要带上cookie数据，微博cookie的有效期比较长，足够抓一条微博的评论数据了，cookie数据可以从扫瞄器分析工具中找到。 ??? 3、然后将前往数据转换成json格式，取出评论内容、评论者昵称和评论时间等数据，输出结果如下图所示。 ??? 4、为了保存评论内容，我们要将评论中的表情去掉，使用正则表达式进行处理，如下图所示。 ??? 5、之后接着把内容保存到txt文件中，使用简约的open函数进行实现，如下图所示。 ??? 6、重点来了，通过此接口最多只能前往16页的数据（每页20条），网上也有说前往50页的，但是接口不同、前往的数据条数也不同，所以我加了个for循环，一步到位，遍历还是很给力的，如下图所示。 ????7、这里把函数命名为job。为了能够一直取出最新的数据，我们可以用schedule给程序加个定时功能，每隔10分钟或者半个小时抓1次，如下图所示。 ??? 8、对猎取到的数据，做去重处理，如下图所示。假如评论已经在里边的话，就直接pass掉，假如没有的话，连续追加即可。 这项工作到此就基本完成了。 【Part3——总结篇】 ????这种方法虽然抓不全数据，但在这种微博的限制条件下，也是一种比较有效的方法。 ????最终假如您需要本文代码的话，请在后台回复“微博”二字，觉得不错，记得给个star噢~ 看完本文有收获？请转发共享给更多的人 IT共享之家 入群请在微信后台回复【入群】 精选留言 用户设置不下载评论 阅读全文