网页链接提取方法.docxVIP

八爪鱼·云采集服务平台 八爪鱼·云采集服务平台 网页链接提取方法 网页链接的提取是数据采集中非常重要的部分，当我们要采集列表页的数据时，除了列表标题的链接还有页码的链接，数据采集只采集一页是不够，还要从首页遍历到末页直到把所有的列表标题链接采集完，然后再用这些链接采集详情页的信息。若仅仅靠手工打开网页源代码一个一个链接复制粘贴出来，太麻烦了。掌握网页链接提取方法能让我们的工作事半功倍。 在进行数据采集的时候，我们可能有提取网页链接的需求。网页链接提取一般有两种情况：提取页面内的链接；提取当前页地址栏的链接。针对这两种情况，八爪鱼采集器均有相关功能实现。下面介绍一个网页链接提取方法。 一、八爪鱼提取页面内的超链接 在网页里点击需要提取的链接，选择“采集以下链接地址” 网页链接提取方法1 二、八爪鱼提取当前地址栏的超链接 从左边栏拖出一个提取数据的步骤出来（如果当前页已经有其他的提取字段，这一步可省略） 点击“添加特殊字段”，选择“添加当前页面网址”。可以看到，当前地址栏的超链接被抓取下来 网页链接提取方法2 而批量提取网页链接的需求，一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。 采集网站： /search?initiative_id=tbindexze=utf8spm=a21bo.50862.201856-taobao-item.2sourceId=tb.indexsearch_type=itemssid=s5-ecommend=allimgfile=q=手表suggest=history_1_input_charset=utf-8wq=suggest_query=source=suggest 步骤1： HYPERLINK /article/javascript:; 创建采集任务 进入主界面，选择自定义模式 网页链接提取方法3 2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址” 网页链接提取方法4 3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的商品url 是这次演示采集的信息 网页链接提取方法5 步骤2： HYPERLINK /article/javascript:; 创建翻页循环 1）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中， 选择“循环点击下一页” 网页链接提取方法6 步骤3：商品url采集 1）如图，移动鼠标选中列表中商品的名称，右键点击，需采集的内容会变成绿色，然后点击“选中全部” 网页链接提取方法7 2）选择“采集以下链接地址” 网页链接提取方法8 3）点击“保存并开始采集” 网页链接提取方法9 4）根据采集的情况选择合适的采集方式，这里选择“启动本地采集” 网页链接提取方法10 步骤4： HYPERLINK /article/javascript:; 数据采集及导出 1）选择合适的导出方式，将采集好的数据导出 网页链接提取方法11 通过以上操作，目标网页内的商品超链接就被批量采集下来了。我们可以使用这些超链接，建立列表循环，来采集我们需要的其他字段数据，如下所示。 步骤5：创建url列表采集任务 1）重新创建一个采集任务，将导出后的商品链接复制，放到输入框中，点击“保存网址” 网页链接提取方法12 注意：输入框中的url列表数量不要超过2W个，超过的部分可以新建任务进行采集，url打开的页面必须是相同网站样式相近的，否则会导致数据采集缺失。 2）在页面中点击需要采集的文本数据，点击“采集数据” 网页链接提取方法13 3）打开流程图，修改采集字段名称，点击“保存并开始采集” 网页链接提取方法14 注意：点击右上角的“流程”按钮，即可展现出可视化流程图。 4）采集完成，点击“导出数据” 网页链接提取方法15 5）选择合适的导出方式，将采集好的数据导出 网页链接提取方法16 注：在八爪鱼中，要提取超链接，需要满足两个条件。 1、点击的字段在A标签，在网页源码中，A标签代表超链接，如果不是在 A 标签内，八爪鱼无法判断 2、A标签内有 href 属性，href 属性里的就是点击之后链接转向的地址，属性里显示什么，八爪鱼就提取什么。如果没有href属性，自然就没办法提取到。 这些都是八爪鱼自动判断的，其实看不懂也不影响操作。只是如果发现提取不到的时候，也许就是因为没满足这两个条件，要看当前网页源码的特点，根据特点找别的方式提取数据。 相关采集教程： 网页视频链接提取，以腾讯视频为例： /tutorial/txsp 网页数据爬取教程： /tutorial/hottutorial 电商爬虫： /tutorial/hottutorial/dianshang 淘宝数据采集： /tutorial/hottutorial/dia