- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
八爪鱼·云采集服务平台
八爪鱼·云采集服务平台
如何获取股票实时数据(采集东方财富)
随着互联网大数据的发展,大数据分析对各行各业都产生了不同程度的影响。金融行业是很有代表性的行业,本文将以金融行业为例进行展开。在大数据时代,金融机构之间的竞争将在网络信息平台上全面展开,说到底就是“数据为王”。谁掌握了数据,谁就拥有风险定价能力,谁就可以获得高额的风险收益,最终赢得竞争优势。
由此,有效获取并利用网页相关数据,是做好金融行业相关工作的重要环节。金融行业对数据极具依赖性,具有数据量大、时效性高的特点。在考虑抓取网页数据的方式时,也需充分考虑这些特点。
八爪鱼采集器上手容易、功能强大,其特色云采集:数量庞大的企业云24*7不间断运行,可实时采集所需数据;不用担心IP被封和网络中断,可瞬间采集大量数据。以下是一个八爪鱼采集东方财富网的完整示例。示例中采集的是东方财富网-上证A股的数据。
采集网站:
/center/list.html#10
步骤1: HYPERLINK /article/javascript:; 创建采集任务
1)进入主界面选择,选择自定义模式
如何获取股票实时数据(采集东方财富)图1
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
如何获取股票实时数据(采集东方财富)图2
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容
如何获取股票实时数据(采集东方财富)图3
步骤2: HYPERLINK /article/javascript:; 创建翻页循环
找到翻页按钮,设置翻页循环
设置ajax翻页时间
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,
选择“循环点击下一页”
如何获取股票实时数据(采集东方财富)图4
由于页面使用了ajax加载技术,需要对点击元素及翻页步骤设置ajax延时加载
(ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定
如何获取股票实时数据(采集东方财富)图5
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
步骤3:分页表格信息采集
选中需要采集的字段信息,创建采集列表
编辑采集字段名称
1)移动鼠标选中表格里任意一个空格信息,右键点击,如图所示,框中数据会被选中,变成绿色,点击右侧提示中点击“TR”
如何获取股票实时数据(采集东方财富)图6
2)选中数据当前一行的数据会被全部选中,点击“选中子元素”
如何获取股票实时数据(采集东方财富)图7
3)右侧操作提示框中,查看提取的字段,可将不需要字段删除,点击“选中全部”
如何获取股票实时数据(采集东方财富)图8
4)点击“采集以下数据”
如何获取股票实时数据(采集东方财富)图9
注意:?在提示框中的字段上会出现一个“X”标识,点击即可删除该字段。
如何获取股票实时数据(采集东方财富)图10
5)修改采集任务名、字段名,并点击下方提示中的“保存并开始采集”
如何获取股票实时数据(采集东方财富)图11
6)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
如何获取股票实时数据(采集东方财富)图12
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4: HYPERLINK /article/javascript:; 数据采集及导出
1)采集完成后,会跳出提示,选择导出数据
如何获取股票实时数据(采集东方财富)图13
2)选择合适的导出方式,将采集好的数据导出
如何获取股票实时数据(采集东方财富)图14
相关采集教程:
八爪鱼采集原理
黄页88数据采集
搜狗微信文章采集
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。
您可能关注的文档
- 高一数学必修一、必修二知识点整合.doc
- 用心营造师生共同成长乐园.ppt
- 《有序数对》课件.ppt
- 跑步装备介绍连载七(头部篇).doc
- 污染源自动在线监控系统1.docx
- 传说时代文明曙光.ppt
- 《小白兔和小灰兔》课件.ppt
- 我国高端皮雕印花工具.docx
- 吸附式海水淡化系统实验研究.pdf
- 各种私房菜做法.pdf
- 线段垂直平分线的性质定理及其逆定理(课件)湘教版八年级数学上册(1).pptx
- Unit5ArtworldComicstripWeletotheunit课件-译林版(2012)九年级英语上册.pptx
- Unit2We‘refamilySectionA(1a-1d)课件-人教版七年级英语上册(1).pptx
- 第3课时解一元一次方程去括号课件苏科版数学七年级上册(1).pptx
- 第1课时平行线的判定(1)_1.pptx
- 三角形全等的判定课件人教版八年级数学上册.pptx
- 指数函数的图像与性质说课课件-高一上学期数学人教A版.pptx
- 三角形的内课件人教版八年级数学上册.pptx
- Unit11SadmoviesmakemecrySectionA1a-2d课件人教版(2012)英语九年级全册.pptx
- Module4Unit2课件-外研版英语九年级上册.pptx
文档评论(0)