用Python带你看看全国统一国庆节请假理由是什么~.docxVIP

用Python带你看看全国统一国庆节请假理由是什么~ Python爬虫与数据挖掘 2021-10-25 以下文章来源于志斌的python笔记 ，作者志斌 HYPERLINK 志斌的python笔记 . 爬虫、数据分析、自动化办公从小白到大神一条龙服务~ 点击上方“Python爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 燕台一望客心惊，笳鼓喧喧汉将营。 大家好，我是志斌~ 由于疫情的影响，很多高校开学后都选择了封校，从而来防止疫情在学校里消灭，但是马上国庆了，学校也因时制宜转变了防疫方式，比如请假可以申请离校外出。 就让志斌用Python来带大家看看微博上话题热度第四的《全国统一国庆节请假的理由》的网友们是怎样请假的，并且那个理由是最通用的~ 01 数据采集 我们是从微博移动端来进行数据采集的。我们按F12，打开开发者模式，对网页进行观看 我们发觉数据存储的网页是一个hotflow开头的页面，它的数据存储的方式是Ajax，那我们就可以晓得恳求的页面和提取数据的方式了。 在上面，我们已经找到数据存储的网页和方式，那么只需要找到页面之间的联系，构造好循环，就可以批量开头爬取啦~ 接下来对不同页面之间的URL进行观看 它们URL里面的id和mid是固定不变的，但是max_id是变化的，然后我又在页面里面发觉了max_id值的规律，每一页的max_id的值都在上一页中存储着。 但是这样还不能够全部都访问，具体的缘由和改进措施，这里由于篇幅，志斌就不引见了，有爱好的读者可以看看这两篇文章，有具体解释 数据采集的核心代码： import requestsimport reimport timeimport csvfor page in range(1,10000): if page == 1 : params = ( (id, 4679186482727431), (mid, 4686092090212455), (max_id_type, 0), ) response = requests.get(/comments/hotflow, headers=headers, params=params) a = response.json()[data][max_id] b = response.json()[data][max_id_type] for i in response.json()[data][data]: pinglunshijian = i[created_at] ri = pinglunshijian.split()[2] shi = pinglunshijian.split()[3].split(:)[0] dianzanshu = i[like_count] neirong = re.sub(r[^]*, , i[text]) id = i[user][id] yonghumingcheng = i[user][screen_name] with open(请假.csv,a,newline=) as f: writer = csv.writer(f) writer.writerow([yonghumingcheng,dianzanshu,ri,shi]) with open(r请假.txt, a, encoding=utf-8) as f: f.write(f{neirong}\n) 02 可视化呈现 我们此次一共猎取了6216条数据，对这些数据进行可视化呈现。 01 ?评论点赞top5用户 我们先来看看那些用户的评论最受大家认同。 这位叫顾狸狸的网友的评论点赞数是最高的，远超后几名，让我们来看看她的评论是什么，竟能让大家这么认同~ 这理由的确可哇！而且很有文艺范，不像我只会用亲戚伴侣结婚来当理由~ 02 ?评论词云图 我们发觉结婚、姐姐、婚礼这三个词比较多，结合从微博上看到的评论，看来大家都是一样用参与姐姐婚礼请假回家的理由最多~ 图片来源于微博~ 词云图代码： with open(请假.txt,encoding=utf-8) as f: job_title_1 = f.read()contents_cut_job_title = jieba.cut(job_title_1)contents_list_job_title = .join(conte