《商务数据采集与处理》课件 第2节：高级选项.pptxVIP

商务数据采集课程

第2节：高级选项

课程目标

实现一个简单的小目标：

1、学会不同种类的翻页操作

2、学会使用cookie登录采集

3、学会如何采集多个关键词

4、了解多网站采集设置

5、完成至少一个实操任务

目标

要翻页采集怎么办？

“下一页”翻页

“加载更多”翻页

滚动翻页

翻页-下一页

示例网址：

/tag/%E5%B0%8F%E8%AF%B4

注意：

页面上用来“翻页”的按钮，可能是下一页；；后页。操作提示框中可能是“循环点击下一页；循环点击单个元素；循环点击单个链接”，都是一个意思，用于创建循环翻页。

翻页-滚动

示例网址：

步骤：

Step1.循环提取列表页数据

Step2.设置滚动方式，调整滚动次数、每次间隔时间

翻页-加载更多

示例网址：

步骤：

Step1.循环提取列表页数据

Step2.找到并选中【查看更多资讯内容】按钮，选择【循环点击单个元素】，自动生成一个【循环翻页】步骤

登录

建立「记住Cookie」步骤：

示例网址：/

Step1.打开浏览模式按钮

Step2.像在浏览器里一样进行正常登录（扫码登录、短信验证、验证码等均支持）

Step3.点击网页步骤的设置，勾选「使用指定的cookie」

Step4.点击「获取当前页面的Cookie」并应用，关闭浏览模式

注：获取的cookie具有时效性，时效多久和网站有关，失效后重新