大数据水利应用洪水预报.PDF

大数据技术及其水利应用 河海大学 朱跃龙 2017年3月30日 南京 主 要 内 容 1 大 数 据 概 念 2 大 数 据 技 术 3 大 数 据 水 利 应 用 第一部分 大 数 据 概 念 大数据概念  大数据（Big Data ）最早由全球知名咨询公司麦肯锡提出  2008年9月， 《科学》杂志发表文章“Big Data ：Science in the Petarbyte Em” ，“大数据”这个词开始广泛传播。 大数据概念  美国2012年出台 《大数据的研究和发展计划》  英国2013年出台 《英国数据能力发展战略规划》  澳大利亚2013年发布了 《公共服务大数据战略》  日本2013年制定 《创建最尖端IT国家宣言》  2015年8月19日国务院发布 《关于促进大数据发展的行动 纲要》 ；各省相继推出计划，例如，《上海推进大数据 研究与发展三年行动计划》、 《江苏省大数据发展行动 计划》、 《重庆市大数据行动计划》和 《贵州省大数据 产业发展应用规划纲要》等。 大数据概念 大数据意指一个超大的、难以用现有常规的数据库管理技术 和工具处理的数据集。 规模性（Volume ） 价值性（Value ）IDC 多样性 （Variety ） 或 高速性 （Velocity ） 真实性（Veracity ）IBM 对于大数据尚未有一个公认的定义 ，不同的定义基本是从大数据的特征 出发 ，加以阐述归纳给出定义。比较有代表性的是3V定义 ，以及新增加的 4V定义 （4V定义中的第四个V的含义还未统一 ）。 大数据概念 未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达 到35ZB （35,000,000PB ），为2009年（0.8ZB ）的44倍。 大数据概念 计算机图灵奖获得者Jim Gray ：提出了一种新的数据探索型研究 方式，称之为科学研究的“第4种范式”( The Fourth Paradigm) 实验科学 理论科学 计算科学 数据科学  科学的两个主要目标：解释 （说明)与 预测。 说明力  大数据方法解释能力弱 （Google翻译 不懂语法 ） 混沌学 物理  大数据方法预测能力强 （特别适合做情 预测力 报分析 ）  大数据技术在智能性问题的出色结果 社会科学 大数据 （如IBM沃森、Google的AlphaGo) 令人 “难以理解” ，正是大数据方法的特征。 第二部分 大 数 据 技 术 大数据技术 大数据系统的层次结构 / Layered Architecture 基础设施层 计算层 应用层 集 存 数据集成