手把手教你使用Python抓取QQ音乐数据（第三弹）.docxVIP

手把手教你使用Python抓取QQ音乐数据（第三弹） IT共享者 Python爬虫与数据挖掘 2021-04-04 点击上方“IT共享之家”，进行关注 回复“材料”可获赠Python学习福利 【一、项目目标】 ? ??通过 手把手教你使用Python抓取QQ音乐数据（第一弹）我们实现了猎取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 ????通过 手把手教你使用Python抓取QQ音乐数据（其次弹）我们实现了猎取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。 ????此次我们在项目（二）的基础上猎取更多评论并生成词云图，构成手把手教你使用Python抓取QQ音乐数据（第三弹）。 【二、需要的库】 ????次要涉及的库有：requests、json、wordcloud、jieba ????如需更换词云图背景图片还需要numpy库和PIL库（pipinstall pillow） 【三、项目实现】 ? ? 1.首先回顾一下，下面是项目（二）猎取指定歌曲首页热评的代码； def get_comment(i): url_3 = /base/fcgi-bin/fcg_global_comment_h5.fcg headers = { user-agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36, # 标记了恳求从什么设备，什么扫瞄器上发出 } params = {g_tk_new 5381, g_tk: 5381, loginUin: 0, hostUin: 0, format: json, inCharset: utf8, outCharset: GB2312, notice: 0, platform: yqq.json, needNewCode: 0, cid: 205360772, reqtype: 2, biztype: 1, topid: id, cmd: 8, needmusiccrit: 0, pagenum: 0, pagesize: 25, lasthotcommentid: , domain: , ct: 24, cv: res_music = requests.get(url_3,headers=headers,params=params) # 发起恳求 js_2 = res_music.json() comments = js_2[hot_comment][commentlist] f2 = open(i+评论.txt,a,encoding=utf-8) #存储到txt中 for i in comments: comment = i[rootcommentcontent] + \n——————————————————————————————————\n f2.writelines(comment) # print(comment) f2.close() ??? 2.下面来考虑如何猎取后面的评论，下图是项目（二）评论页面的parms参数； ???? ??? 3.网页无法选择评论的页码，想看后面的评论智能一次一次的点击“点击加载更多”；我们可以点击一下看看parms有什么变化。 ??? 4.这里有个小技巧，先点击下图所示clear按钮，把network界面清空，再点击“点击加载更多”，就能直接找到其次页的数据。 ??? 5.点击加载更多后消灭下图。 ??? 6.发觉不止pagenum变了，cmd和pagesize也变了，到底那个参数的问题呢，那我们再看下第三页； ????7.只要pagenum变了，那我们尝试一下把pagenum改成“0”，其他不变，能正常显示第一页数据吗? ? 第一页第一条评论 第一页最终一条评论。 ??? 8.能正常显示，那就确定思路了：用其次页的parms，写一个for循环赋值给pagenum，参考项目（二）把评论抓取到txt。 ??? 9.代码实现：为了不给服务器形成太大压力，我们本次只爬取20页数据。 import requests,json def get_id(i): global id url_1 = /soso/fcgi-bin/client_search_cp # 这是恳求歌曲评论的url headers = {user-agent:Mozil