八爪鱼批量采集图片url - 八爪鱼采集器.pdfVIP

八爪鱼批量采集图片 URL 随着瀑布流网站、AJAX 网页等技术和网站表现形式大行其道 ，技术架构和 网页结构都与以往传统的网站有所区别 ，图片展现形式表现的更加的灵活 ，有些 企业或个人出于营销研究或者收藏的需求 ，需要对这类型网站进行网页数据采 集 ，今天我就来介绍下 ，遇到这类型网站时我们要如何使用八爪鱼采集器来快速 收集数据。 我们以选取的这个网站为例 ，来说明下图片采集要如何实现。先来看下这个网站的特 殊之处 ，首先 ，页面上的图片不是一次加载完成 ，而需要滚动多次才会滚动到底部 ，这类型 的网站像新浪微博也是类似情况 ，当然也有的瀑布流网站是一直加载无法见底的 ，这种情况 在此不赘述。其次 ，产品详情页不能通过点击标题进入 ，而需要点击图片才能进入。 1 建采集任务 1.打开数据采集器 ，点击开始采集 2.输入任务名 ，点击下一步 2 建立采集规则 1.复制要采集页面的 URL ，将红色方框内的打开网页拉至流程线 ，将复制的 URL 粘贴好 ，点击保存 ，如图片所示 3 2. 打开网页的时候 ，需要设置 AJAX 网页加载 ，以便确保数据采集的时候不会遗 漏 ，像这个示范站 ，我们实际滚动大约需要 4 次 ，所以我们在 AJAX 加载到底部 ， 滚动次数可以设置为 4 次或 5次均可 ，次数可以适当的比实际的滚动次数稍微 多一两次,如图片所示 4 3.接下来将要采集的页面拉至底部 ，找到下一页 ，鼠标右键点击 ，选择执行循环 下一页操作 ，如图片所示 4.完成翻页的循环后 ，点击自定义 5 5.点击元素列表 ，再点击确定进行保存 6.点击翻页循环的翻页 ，选择高级选项 ，勾选页面加载 ，根据网站的不同去设置 滚动次数和滚动方式 ，点击保存 （这个网站我们滚动4 次就差不多了 ） 6 7.由于我们采集时需要点击图片才能进入到产品详情页 ，在建立元素循环列表的 时候 ，需要将图片链接设置为列表项 ，如下图所示 ，我们需要点击 A 标签取到 图片的链接地址 ，并以此链接为循环列表 ，添加元素到列表的时候 ，每次都需要 点击A 标签 ，2-3次添加之后系统会将所有选中的图片链接自动读取出来。 如图所示 7 8 9 8.完成循环列表后 ，把流程图里提取数据的循环拉进翻页循环里 ，如下图 完成后如红色方框所示 ，点击保存 10 9. 采集图片的 URL ，按上面的操作进入到详情页后 ，就是提取数据了 ，对于产 品名称和价格 ，都是文本形式 ，提取非常简单 ，而对于图片 ，会需要先采集到图 片本身的 URL ，再进行转换 ，采集办法如下图所示 ，选中图片后 ，在弹出的对 话框中可选中 IMG标签 ，选择图片的超链接进行采集。 11 开始采集 ，导出数据 设置完成后 ，保存 ，来看下采集的成果。URL、产品名称、价格均已采集下来 ， 我们导出为 EXCEL格式的文件。 12 将图片的 URL转换为图片批量下载下来 ，相关的工具在八爪鱼免费下载。将 URL 地址导入工具即可将图片转换下来。 经过以上简单的步骤 ，AJAX 网页上的瀑布流图片就可以轻松采集出来了 注意事项 采集不同的数据需要的规则略有不同 ，不懂怎么编辑规则的可以去规则市场寻找 完成的规则