轻轻松松掌握抓取图片的三大要素.docxVIP

轻轻松松掌握抓取图片的三大要素我们在采集网页图片的过程中，会遇到很多问题。掌握这三大要素：明确图片网站类型、学会使用图片批量下载工具、明确能够/不能够实现的功能，图片采集不再是难事。明确图片网站的几大类型1、非瀑布流网站的图片采集示例网站：豆瓣网/photos/album/1620960735/?start=0八爪鱼可以对网页中图片的URL进行采集，然后通过专用的图片批量下载工具将URL转化为图片，下载并保存到本地电脑。2、瀑布流网站的图片采集：直接采集图片地址示例网站：百度图片网 /search/index?tn=baiduimageipn=rct=201326592cl=2lm=-1st=-1sf=1fmq=pv=ic=0nc=1z=se=1showtab=0fb=0width=height=face=0istype=2ie=utf-8fm=indexpos=historyword=%E5%A4%8F%E7%9B%AE%E5%8F%8B%E4%BA%BA%E5%B8%90此类网站，需要按下面的步骤对采集规则进行Ajax滚动设置：① 点击采集规则打开网页步骤的高级选项；② 勾选页面加载完成后下滚动；③ 填写滚动的次数及每次滚动的间隔；④ 滚动方式设置为：直接滚动到底部；百度图片采集-设置ajax滚动完成上面的规则设置后，再对页面中图片的url进行采集。3、瀑布流网站采集：只可点击图片进入图片详情页，再采集图片地址示例网站：花瓣网 /explore/huatong/此类网站，具有以下两个特征：页面上的图片不是一次加载完成，需要滚动多次才会滚动到底部；图片详情页不能通过点击标题进入，而需要点击图片才能进入。针对这类网站，除了要对采集规则进行Ajax滚动设置外，还需要增加一个点击“a标签”的步骤。如下图设置Ajax滚动，此步骤与2相同，在此不再赘述。花瓣网图片采集-设置ajax滚动由于我们采集时需要点击图片，才能进入到产品详情页，在建立元素循环列表的时候，需要将图片链接设置为列表项。点击页面内的第一张图片，再点击“A标签”，系统会选中图片的链接并发现同类链接。选择“选中全部”，再选择“循环点击每个链接”花瓣网图片采集-点击“A标签”学会使用图片批量下载工具1、八爪鱼图片批量下载工具使用教程图片批量下载工具：/s/1c2n60NI1）下载八爪鱼图片批量下载工具，双击文件中的MyDownloader.app.exe文件，打开软件2）打开File菜单，选择从EXCEL导入（目前只支持EXCEL格式文件）3）进行相关设置，设置完成后，点击OK即可导入文件选择EXCEL文件：导入你需要下载图片地址的EXCEL文件EXCEL表名：对应数据表的名称文件URL列名：表内对应URL的列名称保存文件夹名：EXCEL中需要单独一个列，列出图片想要保存到文件夹的路径，可以设置不同图片存放至不同文件夹如果要把文件保存到文件夹，则路径需要以“\”结尾，例如：“D:\同步\”，如果要下载后按照指定的文件名保存，则需要包含具体的文件名，例如“D:\同步\1.jpg”如果下载的文件路径和文件名完全一样，则原先存在的文件会被删除明确能够/不能够实现的功能1、暂不支持直接采集图片里的信息八爪鱼暂不支持采集图片里的信息，想要提取图片中的信息，可以在将图片下载下来后，使用网上的图片信息提取工具进行图片信息的提取。图片URL的两种类型图片网站直接采集下来的图片URL，分为两种类型：一种可以在浏览器中打开，也可以通过图片批量下载工具，将URL转化为图片；一种可以在浏览器中打开，但是不可以通过图片批量下载工具，将其转化为图片。前一种，URL中会明确标示出其图片格式，常见的有：jpg、gif 、png 等。如下图，百度图片网直接采集下来的图片URL中，包含的图片格式为.jpg，属于前一种。如下图，花瓣网直接采集下来的图片URL，没有出现图片格式，属于后一种。遇到这种情况时，我们需要进行一些更复杂的操作，以找到可以转换为图片的URL，在此不做细说。相关采集教程：京东商品信息采集豆瓣电影短评采集1688热门商品采集八爪鱼——70万用户选择的网页数据采集器。1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。八爪鱼·云采集服