网络爬虫爬取动态页面.docVIP

网络爬虫爬取动态页面 前言 毕业设计，我选了网络爬虫相关的论文。爬取静态页面很简单，网上有好几种算法都有现成的代码，解释的也很清楚。然而很多网页都包含ajax请求，动态生成内容，恰恰这些内容又是关键的部分。 由于以前没接触过这方面的东西，所以遇到爬取动态信息这块功能感到很惆怅。网上有引入各种jar包或者修改jar源码什么的方案，我去试了试，感觉不怎么好。 后来我终于找出一种方法，共享出来，希望能对初学者有所帮助。 步骤 拿新浪新闻网来举例吧，新浪新闻网的评论就是动态生成的。下面我们来找一下热门评论的URL。 下载火狐浏览器，并装上FireBug. 用火狐浏览器打开/进入到页面。如下图所示 (图.1) 在主页面按“F12”启动firbug。启动后，在浏览器窗体下方会弹出firbug工作面板。如下图所示 (图.2) 随意点击一条新闻，进入新闻页。点击firbug的“网路”栏，并清空数据。如图3.图4所示 (图.3) 点击“清除”即可清空数据。注意哦，一定要等到页面全部加载完毕再清除哦。 (图.4) 面板点亮“全部”。如图 (图.5) 点击评论，观察firebug的变化。 (图.6) (图.7) 发现URL那有4个请求，这些不是我们的目的。清除后点击评论的刷新按钮。 (图.8) 这时，在firebug里就会出现一个请求，这个请求就是热门评论的请求。 (图.9) 鼠标移到请求上面”GET”会显示一个URL,这个URL就是热门评论的地址。现在只需要爬取这个地址的内容就得到了热门评论了哦。 后记 上面说的是获取热门评论的方法。其它动态内容也可以这么获取。当然了不同网站的规范不一样啦。 你会发现这个URL还有很多的参数 这些参数怎么获取？提个醒，有些参数可以自己设定(比如size)，有些参数可以通过解析新闻页面获得(比如新闻编号)。我们分析出评论URL的格式，然后去新闻页获取参数，这样就能通过爬虫获取评论内容。