使用Python+Selenium爬取新浪微博热点话题与评论信息.pdfVIP

这篇文章主要讲述了使用python+sele新浪微博的热点话题

和评论信息。其中使用该爬虫的缺点是效率极低，傻瓜式的爬虫，不

能并行执行等，但是它的优点是采用分析DOM树结构分析网页源码并

进行信息爬取，同时它可以通过浏览器进行爬取中间过程的演示及验

证码的输入。这篇文章对爬虫的详细过程就不再论述了，主要是

可运行的代码和运行截图即可。希望文章对你有所帮助吧~

实现过程

运行截图如下所示，它通过调用Firefox浏览器，然后输入移动端，

自动登录。它会自动输入用户名及，但需要用户在设置

暂停20秒内输入。登录后，它会自动跳转到搜索页

面，当用户输入欢乐颂后，就会对返回信息及评论进

行爬取了，爬取过程中需要注意翻页即可。

这篇文章主要讲述了使用python+selenium爬取的热点话题

和评论信息。其中使用该爬虫的缺点是效率极低，傻瓜式的爬虫，不能

并行执行等，但是它的优点是采用分析DOM树结构分析网页源码