基于Python的动态网页评价爬虫算法-软件工程杂志社.PDFVIP

第19卷第2期 Vol.19 No.2 2016年2月 软件工程 SOFTWARE ENGINEERING Feb. 2016 文章编号：2096-1472(2016)-02-43-04 基于Python的动态网页评价爬虫算法 夏火松，李保国 （武汉纺织大学管理学院，湖北 武汉 430073） 摘 要：在大数据获取中面临着如何采集动态评论网页的问题，这篇论文使用静态网页信息构造动态链接，提出了 基于Python的动态网页评论爬虫算法。在此基础上实现了评论收集程序。最后将它与通用爬虫算法进行比较，证实了 该算法具有针对性强、数据采集速度快、易嵌入开发、简单等优点，为不善于编程的新闻、文学、管理等学科的研究者 提供了快速获取评论信息的方法。 关键词：Python语言；静态地址；动态链接；动态网页评论；爬虫算法 中图分类号：TP312 文献标识码：A Crawler Algorithms of Dynamic Web Reviews Based on Python XIA Huosong,LI Baoguo ( School of Management ,Wuhan Textile University ,Wuhan 430073,China) Abstract:An issues in big data is:how to get a dynamic comment page? This paper uses information of static pages structure dynamic link and designs a crawler algorithm for dynamic web.On this basis,this paper implements a comment collector.Finally,this paper compares it with the general crawler algorithm.It is proved that this algorithm has the advantages of strong pertinence,fast data acquisition,easy to be embedded,simple and so on.It provides fast access to large data sources for researchers who are not proficient in programming. Keywords:python language;static address;dynamic link;dynamic web reviews;reptile algorithm 1 引言(Introduction) 基于Agent的网络爬虫、迁移的网络爬虫、通用网络爬虫和聚 大数据具有数据体量巨大(Volume)、数据类型繁多 焦爬虫等。其中聚焦爬虫是一种主题网络爬虫，它围绕主题 (Variety)、价值密度低(Value)、处理速度快(Velocity)的特 内容采集数据。 点。在大数据获取中面临的一个数据源问题为：如何获取大 静态网页是指不应用程序而直接或间接制作成Html的网 量的动态评论数据？Python是一门独立的语言，可以直接操