网页分页数据采集方法.ppt

八爪鱼 让数据触手可及 视频教程PPT 教程重点 一、分页数据采集 二、创建循环列表的两种方式 一、分页数据采集 网址中有多个页面数据需要采集 示例网址： 分页列表/guide/demo/genremoviespage1.html 分页列表详情 /guide/demo/moviespage1.html 目的是让大家了解如何创建循环翻页，并正常采集到所有分页中的数据 二、创建循环列表的两种方式 回顾总结一下“建立循环列表”的方式 在7版本的循环列表创建中，有两种创建方式： 方式一、选中第一个链接，系统自动识别其他链接，提示“选中全部”，适用于列表及详情页采集 /guide/demo/moviespage1.html 方式二、选中第一个列表，提示“选中子元素”，再选择“选中全部”，适用于列表信息采集 /guide/demo/genremoviespage1.html 二、创建循环列表的两种方式 方式一、选中第一个链接，系统自动识别其他链接，提示“选中全部”，适用于列表及详情采集 示例网址：/guide/demo/moviespage1.html 特殊情况1 1、有的网页，选中一个链接之后，系统不能识别相似链接，需要再选中第二个链接，或者第三个链接，这种情况下请根据网页情况来，多试几次 示例网址：/search?app=shopsearchq=%E7%BE%BD%E7%BB%92%E6%9C%8Dimgfile=commend=allssid=s5-esearch_type=shopsourceId=tb.indexspm=a21bo.2017.201856-taobao-item.1ie=utf8initiative_id=tbindexz二、创建循环列表的两种方式 方式二、选中第一个列表，提示“选中子元素”，再选择“选中全部”，适用于列表信息采集 示例网址：/guide/demo/genremoviespage1.html 特殊情况1 有的网页，选中第一个列表后，系统不能识别出其中的子元素，不会出现“选中子元素”提示。需要继续选中第二个列表，选中第二个列表后，系统会自动选择页面内所有同类列表和列表中的子元素，并出现“采集以下数据”提示，选择“采集以下数据”后，循环列表创建完成 示例网址：/hu_ge?topnav=1wvr=6topsug=1is_hot=1 特殊情况2 有的网页，不管怎么移动鼠标，都无法选中需要的整体目标区域，需要点击“扩大选区”按钮或选中左侧网页元素来手动扩大选择区域（这种情况主要出现于：网页上要采集的数据以表格展示） 示例网址：/guide/demo/tables2.html The End 谢谢大家