八爪鱼采集器使用AJAX滚动教程和目的.docVIP

八爪鱼·云采集服务平台 八爪鱼·云采集服务平台 八爪鱼采集器使用AJAX滚动教程 本文讲述采集运用了AJAX技术的网站，AJAX滚动的设置。 示例网站： /1893801487/F8yXEAh0i?ref=feedsdktype=comment#_rnd1497952450258 相关采集教程： 新浪微博数据采集 58同城信息采集 搜狗微信文章采集 一、AJAX滚动示例 1）打开要采集的网页，选中一条评论，然后点击“选中全部”，再点击“采集以下元素文本”，微博评论的循环列表建立完成。 八爪鱼采集器使用AJAX滚动教程-图1 八爪鱼采集器使用AJAX滚动教程-图2 如图所示，我们打开的是微博页面，要采集的数据是本条微博下，所有的评论人和评论内容。在下一个步骤中，可以通过观察循环列表，验证网页是否使用了AJAX技术。 2）验证网页是否使用了AJAX加载技术。如果是，则需设置页面加载完成后向下滚动。 首先，重新打开网页，查看并点击循环框。通过循环列表，我们可以看到当前网页可以提取到15条数据。随后，将网页向下滚动，我们发现滚动条回弹了两次，新加载出来30条数据。即网页每向下滚动一次，会新加载出15条数据。同时我们发现，网页向下滚动时，不出现加载状态图标，说明该网页使用了AJAX滚动方法来加载数据，需要设置页面加载完成后向下滚动。 选中“打开网页步骤”，打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“2次”，每次间隔“2秒”，滚动方式为“向下滚动一屏”。（示例中的网页，滚动方式宜设置为“直接滚动到底部”，后文中会有说明。） 八爪鱼采集器使用AJAX滚动教程-图3 八爪鱼采集器使用AJAX滚动教程-图4 3）保存并启动。再次选中“打开网页步骤”，将滚动方式设为“直接滚动到底部”。点击左上角的“保存并启动”，选择“启动本地采集”，采集正常进行。 八爪鱼采集器使用AJAX滚动教程-图5 八爪鱼采集器使用AJAX滚动教程-图6 二、AJAX滚动的两种方式 AJAX滚动有两种模式，分别是向下滚动一屏和直接滚动到底部。直接滚动到底部是直接让界面滚动到页面的最下部，向下滚动一屏是让网页滚动当前屏幕一屏的内容。 一般常用直接滚动到底部功能，特殊情况使用向下滚动一屏。 1、直接滚动到底部 在上述示例中，滚动前，循环列表内数据条目为15条（图7），滚动后，循环列表内数据条目变为45条（图8）。同时发现，数据的开头部分未发生改变，说明页面滚动后，新加载的数据出现在原本的数据后面，之前的数据依然会显示。 这时，我们可以设置为直接滚动到底部。页面加载了2次，便设置滚动次数为2-3次，时间一般为2秒。设置滚动时间，是防止滚动后数据还没加载出来便再次滚动，导致不能加载出新数据。 八爪鱼采集器使用AJAX滚动教程-图7：设置“滚动到底部”前 的循环列表 八爪鱼采集器使用AJAX滚动教程-图8：设置“滚动到底部”后 的循环列表 2、向下滚动一屏 那什么情况下使用向下滚动一屏呢？当我们滚动网页时，向下滚动到底部后，网页中原本开头部分或者中间某部分的数据被隐藏，需要向上滚动重新加载，即网页只加载一屏新增数据时，则使用向下滚动一屏。 假设示例情况变更为：只加载开头部分与仅一屏新增数据。具体如下： AJAX滚动图9：向下滚动一屏，滚动前循环列表 （图中为循环列表最后几条数据） AJAX滚动图10：向下滚动一屏第1次，滚动循环列表 （图中为循环列表中，新增数据与最初数据接合处） AJAX滚动图11：向下滚动一屏第2次，滚动循环列表 （图中为循环列表中，新增数据与最初数据接合处） 上图分别为滚动前后的循环列表，可以看到： 滚动前（图9），循环列表可以抓取到页面内15条数据。 滚动第1次（图10），循环列表可以抓取到的数据为30条，数据接合处如图所示。 滚动第2次（图11），循环列表可以抓取到的数据依然为30条。但是滚动第1次（图10）下方新增的15条数据被隐藏，只显示开头数据以及第2次滚动新增数据。 面对此种情况，我们便需使用“向下滚动一屏”功能，来实现循环采集“向下滚动一屏”后新增的数据。具体操作需要有一定八爪鱼使用经验，这里不做过多叙述。 八爪鱼——70万用户选择的网页数据采集器。 1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。 2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。 3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。 4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设