八爪鱼增量采集有什么作用？怎样实现增量采集？.docxVIP

八爪鱼·云采集服务平台 八爪鱼·云采集服务平台八爪鱼增量采集有什么作用？如何实现增量采集？本文介绍如何增量采集的作用以及如何实现增量采集示例网址： HYPERLINK /search_product.htm?spm=a220m.1000858.0.0.d811797qNnDlEs=60q=%B0%B2%BC%AA%B0%D7%B2%E8sort=sstyle=gactive=1type=pc#J_Filterhttp://news/ /search_product.htm?spm=a220m.1000858.0.0.d811797qNnDlEs=60q=%B0%B2%BC%AA%B0%D7%B2%E8sort=sstyle=gactive=1type=pc#J_Filter/news/有些用户配置了一个规则任务，第一次采集了所有的数据后，后续再采集的时候只需要采集网页上新增的数据。对于这个需求，我们可以用增量采集这个功能实现。这个功能只会在云采集上生效。注意：整个规则中只出现一个提取数据的步骤时，才可以启用增量采集功能。如下图所示，如果有两个或以上提取数据的步骤，是不支持增量采集的。增量采集-图1配置规则的时候，在“保存并启动”旁，有个齿轮状的“设置”按键。点开后，云采集设置中有个启用增量采集。在八爪鱼中，默认是不启用增量采集的，要勾选“启用增量采集”（图2），才会启动此功能。增量采集-图2“增量采集”具有两个选项：“对比整个URL，包含所有参数”和“仅对比URL及以下参数”（图2）。系统默认选择“对比整个URL，包含所有参数”这个选项（图2）。对比整个URL，包含所有参数：当前整条URL会与之前采集过的URL做对比，如果是完全一样的URL，就不会采集。仅对比URL及以下参数：只会对比URL中部分相同的地方。例如：如果八爪鱼第一次运行采集到第一条URL所在网页的数据，第二次规则运行时我们遇到第二条URL了，注意我们识别参数是以链接中开头然后=之前的视为一个参数选项的。 HYPERLINK /forum.php?tidxtra=page=1 /forum.php?tidage=1 HYPERLINK /forum.php?tidxtra=page=1 /forum.php?tidage=1可以看到，这两条URL中只有“tid=”后面的数字不一样。我们就可以选择仅对比tid这个参数，选择之后这两条URL都会采集 。另外再看下page参数，如果我们选择只对比page参数，那第二条URL就不会采集。如果需要使用“仅对比URL及以下参数”这个选项，网页URL中必须要有对应的参数，才会出现参数的选择；如果URL里没有参数，则是没有参数选项的。例如：下图中是循环点击的规则，八爪鱼对比的是点击之后网页的URL。增量采集-图3点击元素后，可以看到链接里是不带参数的增量采集-图4点开设置后，勾选启用增量采集，仅对比URL及以下参数，发现对比参数的列表没有参数，说明不可用。增量采集-图5换一个带参数的规则，点击元素后如下：增量采集-图6点开设置后，勾选启用增量采集，仅对比URL及以下参数，发现对比参数的列表有了可以选择的参数。增量采集-图7这时候，勾选需要增量采集的参数，便可在云采集中实现根据参数的增量采集。相关采集教程：天猫商品信息采集黄页88数据采集豆瓣电影短评采集八爪鱼——70万用户选择的网页数据采集器。1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。