- 1、本文档共11页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
八爪鱼·云采集服务平台
八爪鱼·云采集服务平台
如何批量爬取网站数据
在互联网时代,网站的海量数据是重要信息的来源。如何有效快捷的提取到有效信息,批量爬取我们所需要的信息呢?今天教给大家一种简易可行的方法,帮助大家提高工作效率。
八爪鱼是一款极容易上手、可视化操作、功能强大的网站数据抓取工具。以下是一个使用八爪鱼采集目标网站数据的完整示例。示例中采集的是链家网上-租房-深圳分类下的出租房屋信息。本文仅以链家网这个网站为例,其他直接可见的网站均可通过八爪鱼这个工具采集。
示例网站:
HYPERLINK /zufang/ /zufang/
示例规则下载: HYPERLINK
步骤1: HYPERLINK /article/javascript:; 创建采集任务
1)进入主界面选择,选择自定义模式
如何实现获取网站数据,以采集链家房源信息为例图1
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
如何实现获取网站数据,以采集链家房源信息为例图2
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的列表内容,就是演示采集数据
如何实现获取网站数据,以采集链家房源信息为例图3
步骤2: HYPERLINK /article/javascript:; 创建翻页循环
找到翻页按钮,设置翻页循环
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,
选择“循环点击下一页”
如何实现获取网站数据,以采集链家房源信息为例图4
步骤3:房源信息采集
选中需要采集的字段信息,创建采集列表
编辑采集字段名称
1)如图,移动鼠标选中列表中标题的名称,右键点击,需采集的内容会变成绿色
如何实现获取网站数据,以采集链家房源信息为例图5
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
2)移动鼠标选中红色方框里任意文本字段后,列表中所有适配内容会变成绿色,在右侧操作提示框中,查看提取的字段,可以将不需要的字段删除,然后点击“选中全部”
如何实现获取网站数据,以采集链家房源信息为例图6
注意:?鼠标放在该字段上会出现一个删除标识,点击即可删除该字段。
如何实现获取网站数据,以采集链家房源信息为例图7
3)点击“采集以下数据”
如何实现获取网站数据,以采集链家房源信息为例图8
4)修改采集字段名称,点击下方红色方框中的“保存并开始采集”
如何实现获取网站数据,以采集链家房源信息为例图9
5)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
如何实现获取网站数据,以采集链家房源信息为例图10
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4: HYPERLINK /article/javascript:; 数据采集及导出
1)采集完成后,会跳出提示,选择“导出数据”
如何实现获取网站数据,以采集链家房源信息为例图11
2)选择合适的导出方式,将采集好的数据导出
如何实现获取网站数据,以采集链家房源信息为例图12
经过如上操作,链家网上-租房-深圳分类下的出租房屋信息就被采集下来了。其他网站的采集方式与基本步骤,与上文类似。小伙伴们可以试试。
相关采集教程:
网站数据采集实战视频教程
/tutorial/videotutorial/videoszcz
模拟登录抓取网站数据
/tutorial/cookdenglu
网页抓取工具新手入门
/tutorial/xsksrm
循环翻页爬取网页数据
/tutorial/gnd/xunhuan
ajax网页数据抓取
/tutorial/gnd/ajaxlabel
xpath抓取网页文字
/tutorial/gnd/xpath
提取网页文字数据
/tutorial/gnd/tiqushuju
网页数据导出
/tutorial/gnd/dataexport
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私
文档评论(0)