大数据时代的气象水文信息保障.docxVIP

大数据时代的气象水文信息保障 孙子兵法中讲到“知己知彼，百战不殆；知天知地，胜乃可 全。”可见气象水文信息对于军事领域和国民经济领域都具有非 常重要的作用， 随着气象水文信息需求和技术的发展， 气象水文 信息保障也不仅满足于天气预报， 而扩展到现有的气候预测、 气 候可行性论证、公共气象服务、专业专项气象服务、气象防灾减 灾等，大数据时代到来， 又将给气象水文信息保障带来巨大的变 化。 一、气象水文信息的大数据特征 气象水文信息保障离不开气象水文数据， 包括对气象、 水文、 天文、潮汐、空间天气等观测数据以及加工处理后得到的产品数 据，且是海量数据，如美国国家气象频道每天要处理 20 兆兆字 节的数据，这里包括有关风、雨、雪、冰雹、龙卷风、温度、气 压、湿度、地震、飓风、闪电等的相关数据。目前我国每年新增 的气象数据就达到PB量级，较上世纪90年代增长了数千倍，并 仍在快速增长中。气象水文保障对气象水文信息的时效性要求 高，比如天气预报粒度从天缩短到小时， 特别是发生自然灾害时 时效要求更严苛。 大气运动的随机性， 导致各气象水文要素无时 无刻不在变化中， 气象水文信息是动态变化的。 大气运动的规律 性，可以利用历史数据和实时动态数据， 发现数据与结果之间的 规律，并假设此规律会延续，捕捉到变量之后进行预测。最早得 到应用天气象预报就是利用了气象信息的规律性。 二、大数据技术在气象水文信息保障中的应用 （一）数据挖掘技术 数据挖掘技术在从大量数据中提取特征与规则方面具有很 大的优势， 能够自动发现以前未知的模式， 自动预测未来趋势和 行为。由于气象水文数据的数据量巨大， 数据本身又具有模糊性 和不确定性等因素， 因此将数据挖掘技术应用于气象水文数据分 析和气象水文预报决策中， 利用数据挖掘技术的归纳能力， 利用 机器学习和数据挖掘算法， 可以自动地从大量数据中发现有用的 模式，具有一定的现实意义。 在气象水文信息保障中数据挖掘过程由数据准备、 挖掘、 表 述及分析 3 个主要的阶段组成。 数据准备阶段就是从历史数据和 当前的操作数据中提取数据并集成，同时对数据进行数据消脏、 数据选择和格式转换等预处理， 为数据挖掘做准备。 挖掘阶段就 是综合利用分类、序列分析、关联规则等各种数据挖掘方法，分 析经过预处理的数据， 发现事件之间的时间和空间关系， 从中提 取有关特征和规则。 上述过程需要不断地反复和评估， 以得到一 个较为理想的气象水文预报模型。 表述就是将数据挖掘所获得的 特征和规则以便于理解和观察的方式反映给系统。 分析就是对数 据挖掘所提取的异常模式或正常轮廓进行评价， 如果它能够有效 地反映入侵情况，就说明它是成功的，否则，就可以重复执行上 述过程，直到满意为止。 （二）云计算技术 将各类计算资源融合在一个大资源池中， 资源池被云计算平 台管理之后， 动态地在上面创立一个虚拟化资源池， 使它成为新 的气象水文数据处理中心。 各级气象水文部门只需向云计算管理 平台发送指令就可以动态添加新的资源或取走资源。 1.数值运算 由于云计算具有强大的运算能力， 这为气象水文数据运算提 供了平台。云计算创造虚拟数据中心使得其能够把内存、 I/O 设 备、存储和计算能力集中起来成为一个虚拟的资源池来为整个气 象水文网络提供服务。 通过云计算技术， 从气象水文中心到一般 台站，都能达到同“超级计算机”一样的数据计算能力， 在短时 间内处理数以千计的甚至万亿计的数据， 快速获取各种气象水文 信息，同时还可以根据用户的需求迅速加工成所需的数据， 实现 预报服务产品的本地化。 2. 数据存储 把气象水文数据放在 Web网上,查找访问存储系统，而不需 要在本地设计和建设存储系统。 云计算存储可以较好地平衡服务 器的资源存储负载， 在各种数据中心间快速地转移数据， 确保数 据是在距离用户最近的存储器上， 这样的服务可以使得气象水文 数据快速而准确地转移到所需的位置上，提高了用户的使用效 率。 三、国内外应用实例 国外的气象大数据应用已经比较成熟， 世界各国的公司都将 气象分析加入他们的经营战略当中， 并期待利用大自然获得更大 收益。比如默克公司提前 10个月掌握了美国地区 2013年 5月份 的气象信息， 并预测温暖的空气将带来花粉等过敏因素， 默克公 司加大了过敏药的宣传和供应， 由此带来数百万美元的额外销售 额。 Sears 零售公司通过危机指挥中心的监控设备对全国天气进 行关注，以保证各种必需品库存充足。 保险公司EMC?过分析冰 雹灾害发生的历史记录， 避免不必要的或者欺诈索赔。 位于堪萨 斯州的西星能源公司安排公司的电工随时关注美国其他各州的 恶劣天气状况，以便在危机状况时给予帮助。 今年5月中国XX局公共气象服务中心与阿里云达成战略合