- 1、本文档共34页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
气象大数据资料
1 引言
在气象行业内部,气象数据的价值已经和正在被深入挖掘着。但是,不能将气象预报产品的社会化推广简单地认为就是“气象大数据的广泛应用”。
大数据实际上是一种混杂数据,气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据,包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。
传统的”气象数据“,地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上,基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同,前者是气象数据的“深度应用”和“增值应用”,后者是既定业务数据加工产品的社会推广应用。
“大数据的核心就是预测”,这是《大数据时代》的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统,无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀,会在几周后引发北美的一场暴风雪这一现象,形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说,目前经典的大数据应用方法并不适用于天气预报业务。
现在,气象行业的公共服务职能越来越强,面向政府提供决策服务,面向公众提供气象预报预警服务,面向社会发展,应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。
气象大数据应该在跨行业综合应用这一“增值应用”价值挖掘过程中焕发出的新的光芒。
2 大数据平台的基本构成
2.1 概述
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘(SaaS),但它必须依托云计算的分布式处理、分布式数据库(PaaS)和云存储、虚拟化技术(IaaS)。
大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征,包括数据的频率、量、速度、类型和真实性。处理并存储大数据时,会涉及到更多维度,比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战,因为需要考虑非常多的因素。
气象行业的数据情况则更为复杂,除了“机器生成”(可以理解为遥测、传感设备产生的观测数据,大量参与气象服务和共享的信息都以文本、图片、视频等多种形式存储,符合“大数据”的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性) 。这些信息长期存储于气象各部门的平台上未能加以合理利用。另一方面,这些数据本身就是分散存储于多个服务器平台上,急需应用分布式平台统一管理。
因此,我们亟需一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要,所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。
2.2 数据基础决定平台框架
2.2.1 从分类大数据到选择大数据解决方案
RDBMS:关系型数据库;
ETL:数据清晰、转换、装载的过程; ELT:数据清晰、装载、转换的过程;
CDC:增量数据复制。有同步和异步两种模式。
结构化数据
半结构化数据“
非结构化数据
非结构化数据
2.2.2 依据大数据类型对业务问题进行分类
根据气象服务需要,业务问题可分类为不同的大数据问题类型。以后,我们将
使用此类型确定合适的分类模式(原子或复合)和合适的大数据解决方案。但第一步是将业务问题映射到它的大数据类型。下表列出了常见的业务问题并为每个问题分配了一种大数据类型。
2.2.3 使用大数据类型对大数据特征进行分类
按特定方向分析大数据的特征会有所帮助,例如以下特征:数据如何收集、分析和处理。
对数据进行分类后,就可以将它与合适的大数据模式匹配:
? 分析类型 — 对数据执行实时分析还是批量分析。请仔细考虑分析类型
的选择,因为这会影响一些有关产品、工具、硬件、数据源和预期的数据频率的其他决策。一些用例可能需要混合使用两种类型: ? 临近分析;分析必须实时或近实时地完成。
? 历史分析针对战略性业务决策的趋势分析;分析可采用批量模式。 ? 处理方法 — 要应用来处理数据的技术类型(比如预测、分析、临时查
询和报告)。业务需求确定了合适的处理方法。可结合使用各种技术。处理方法的选择,有助于识别要在您的大数据解决方案
您可能关注的文档
- 桃山煤矿 2016版煤矿安全规程学习贯彻课件.ppt
- 框架0105night.ppt
- 样板验收汇报材料.ppt
- 框架结构二次结构施工方案.doc
- 框架理论的传播学解释.doc
- 案例78 如何给领导提建议.pptx
- 案例分析题汇集(中央电大试卷).doc
- 桥梁分类与体系-1.ppt
- 梧州市新地中心小学“留守儿童”档案和登记制度.doc
- 梦想的力量(正式).ppt
- 2025年湖北轻工职业技术学院单招语文测试题库及答案一套.docx
- 2025年湖北省宜昌市单招(语文)测试模拟题库完整.docx
- 2025年湖北省襄樊市单招语文测试模拟题库及参考答案.docx
- 4.2特异性免疫(第1课时)(教学课件)-高二上学期生物人教版选择性必修.pptx
- 6.1让我们选择坚强.ppt
- 高三化学一轮复习限定条件的同分异构体的数目与书写课件.pptx
- 21.2.4一元二次方程的根与系数的关系课件人教版数学九年级上册(1).pptx
- Module5Unit2It'stoobigforyou(课件)-外研版(2012)英语五年.pptx
- 23.1.1图形的旋转1课件人教版数学九年级上册.pptx
- 运动的描述课件.ppt
文档评论(0)