最全的网页数据采集特殊翻页解决方案.pptxVIP

八爪鱼 让数据触手可及 视频教程PPT 特殊翻页 一、采集时无下一页，数字翻页 二、采集时页面出现再显示20条等按钮 三、一二页重复循环 四、最后一页死循环 一、采集时无下一页，数字翻页 适用情况：要采集的页面上没有翻页按钮，而是一排页码 解决思路：找到一条xpath，使得在当前页始终能定位到下一页 示例网址：/news/ 二、采集时页面出现再显示20条等按钮 适用情况：要采集的网页中，有加载更多或者再显示20条等按钮，点击这些按钮之后需要 采集的数据才会完全显示出来 解决思路：按照常规操作，创建翻页循环，然后将循环翻页步骤拖到循环-提取数据步骤前 让所有翻页完成之后，再进行循环提取数据步骤，不然会很多重复数据 示例网址：/ 三、一二页重复循环 适用情况：要采集的网页，总是在一二页循环提取数据，而不会跳到到第三页 原因分析：xpath定位不准，在第二页时，能定位到“上一页”和“下一页”两个按钮 解决思路：修改xpath，使在第一、二页，只能定位到“下一页”按钮 示例网址： 三、一二页重复循环 适用情况：要采集的网页，总是在一二页循环提取数据，而不会跳到到第三页 原因分析：xpath定位不准，在第二页时，能定位到“上一页”和“下一页”两个按钮 解决思路：修改xpath，使在第一、