八爪鱼云采集的的特点以及使用教程.pptxVIP

云采集 深圳视界信息技术有限公司 目录 什么是云采集 云采集设置 云采集数据查看及导出 云采集原理 规则加速设计方法 云采集相关排错 什么是云采集 云采集是指通过使用八爪鱼采集器提供的服务器集群进行工作，该集群是采取7×24小时的工作状态，时刻都可以进行数据的采集抓取。在客户端将任务设置完成并提交到云服务执行进行云采集之后，可以关闭软件，关闭电脑进行脱机采集，真正的实现无人值守。除此之外云采集通过云服务器集群的分布式部署方式，多节点同时进行作业，可以提高采集效率，并且可以高效的避开各种网站的IP封锁策略。 云采集设置 启动，停止云采集 设置定时任务 数据导出API 查看云采集报告 优先级，分配资源 云采集数据查看及导出 查看数据： 直接点击-“云采集已采集到XX条数据….”字样 或者 更多操作-查看数据-云采集数据 云采集数据查看及导出 云采集原理 A. 一个规则任务进行云采集最少占用一个云节点，最多可以占满所有云节点 B. 一个规则任务满足可拆分成子任务的情况下，最多拆成199个子任务 C. 一个子任务占用一个节点，子任务全部执行完成意味着任务完成 D. 一个规则任务拆成多个子任务分配到不同云节点就达到加速采集的效果 E. 如果云节点被占满，那么新启动的任务或被拆分的子任务会进入等待队列，直到用户某个云节点执行完用户的某个任务释放出节点资源 云采集原理 如图红线处任务分配到云节点，多任务并发采集数据，如图红框处，由于节点被占满，只能进入等待队列，等待某个云节点执行完成后释放资源。（未知表示未拆分） 规则加速设计方法 /search/category/15/30 A.URL列表循环 B.文本列表循环 C.固定元素列表循环 云采集相关排错 云采集去重原则 云采集比单机慢 拆分任务 任务本地运行时间较短 同时运行多个云采集任务 云采集优化案例：/showtopic.aspx?topicid=1868 单机可以采集但是云采集无数据或者漏数据 THANKS