面向数据湖的气象数据治理应用研究.pdfVIP

、信息化建设

面向数据湖的气象数据治理应用研究

王艺•王•琪陈凯华

华李祥海

摘要：针对气象半结构化及文件、图片等非结构化海量多源异构数据资源存储集约化管理难、多套存储挂载、

管理不便以及存在数据安全管控服务能力等问题，结合数据湖技术制定可持续发展的天津市气象数据环境目录

规则，搭建了基于多套分布式存储的统一气象数据服务目录。从而构建稳定统一的目录视图、按需提供的目录

权限、统一的气象数据服务出口等数据环境，为精细化气象数据服务应用提供安全高效的气象数据服务。最

终，实现基于数据湖的气象集约化数据环境，打破数据孤岛困局，提升数据环境治理的安全管控能力，有助于

更好发挥气象数据价值。

关键词：气象数据湖；数据治理；数据服务目录；分布式存储

一、前言气象数据湖系统的价值不仅能统一管理多套存储，

随着气象现代化建设的不断发展，对气象非结构化还可以在海量数据的基础上，打破数据壁垒，提高分析

数据存储环境的需求激增。气象非结构化数据体量巨效率，数据湖能够大量存储各种类型的数据，拥有强

大、种类繁多，且呈快速发展趋势，服务器难以满足大大的信息处理能力和处理几乎无限的并发任务或工作的

体量、高频率、多并发、高可用的存储访问需求，使非能力，打破了“数据孤岛”，各类气象数据将“流人湖中”，

结构化数据在存储时间序列长度、数据共享服务水平以解决数据主权、统一数据汇聚和共享的混合式数据平

及业务运行可靠性等多方面受到影响。台。因此，如果没有妥善的数据管理、维护机制，数据

目前，通过调研得知多年分批部署的多套存储设备湖会转变成数据沼泽。数据湖核心技术的安全性能仍

存在使用规划不明确、数据目录结构不统一、缺少域名然处于萌芽期，需要有定义的机制来编目和保护数据。

配置、对外挂载以及目录分享混乱等现状，缺少合理定因此，本文针对完善数据湖的目录架构、建立数据

制未来可持续使用的天津市气象数据环境的统一管理规维护、管理机制，提供数据服务出口统一，构建数据价

则。多套分布式NAS管理标准不一致和传输节点设备值充分利用、数据共享安全可控的数据集约化环境。

老旧问题，难以应对气象业务对数据存储设备容量和性（二）气象数据湖建设面临的问题

能的需求，迫切需要对非结构化气象数据的存储和传输根据气象业务发展的需求，气象数据文件存储到多

设备进行统筹集约化治理。套存储系统，包括分布式NAS、对象存储等。每套存储

系统独立管理，提供数据服务时，无法对数据、用户权限、

二、气象数据湖建设发展概况文件目录等进行统一管理，导致数据在多套存储间多处

(一)研究现状存储、反复迁移，存储空间有效利用率受到影响，使用

物联网技术、智能终端的飞速发展带来气象数据呈不同年份、不同类型的气象数据时往往需要挂载很多存

现爆炸式增长，不同类型、格式数据之间的关联性碰撞储服务，不利于数据统一管理。数据湖软件集成国家及省

越来越激烈，刺激着气象数据技术的创新发展，逐渐形市现有的文件存储系统，提供统一目录视图，支持集中权

成了气象大数据生态结构，导致气象数据具有复杂性、限管理，支持目录级别权限设置，在相同服务器上，不同

综合性、交叉性，致使气象数据使用成本越来