原创力文档- 1、本文档共32页，其中可免费阅读10页，需付费200金币后方可阅读剩余内容。
- 2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
- 3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
- 4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
PAGE19
基于Python的网站数据爬取与分析
摘要
目前很多的传播效果研究缺少精准的平台数据，为了快速获取人民网每日的新闻数据，运用Python语言开发一款支持并行的网站数据抓取工具。主要分为以下几个模块：交互模块，数据抓取模块，数据存储模块，数据处理模块。
工具可以实时抓取人民网首页的标题信息、作者信息、稿件来源等内容。同时，能够利用关键字匹配技术，匹配符合规定条件的新闻，并抓取相关内容，该工具支持并行抓取，可以同时抓取多条新闻。运用所得数据进行一个防控相关新闻的统计分析，并进行可视化呈现。以词云和条形统计图的形式显示相关报道数量及关键词词频，旨在帮助用户根据视图
文档评论（0）