基于消息的气象服务数据加工流水线设计与应用-中国气象局图书馆.PDFVIP

Special 专题 基于消息的气象服务数据加工流水线设计与应用 宋瑛瑛 李雁鹏 陈正廷 凌柏 冯宇星 曹宇钊 （中国气象局公共气象服务中心，北京 100081） 摘要：梳理了公共气象服务业务的数据流程，提出了一种基于消息的气象服务数据加工流水线技术，用于提高气象数据 服务的时效性与数据资源更新的一致性。着重介绍了消息中间件、流水线架构设计、交互文件标准等技术问题。结合分 钟级降水预报数据实例，初步展示了消息驱动数据流应用在气象服务数据支撑系统中的优势。 关键词：气象数据，消息中间件，交互文件标准，系统设计 DOI：10.3969/j.issn.2095-1973.2016.06.008 Design and Application of Message- Driven Data Processing Flow in Meteorological Service Song Yingying, Li Yanpeng, Chen Zhengting, Ling Bai, Feng Yuxing, Cao Yuzhao (Public Meteorological Service Center of China Meteorological Administration, Beijing 100081) Abstract: Based on the analysis of public meteorological service data flow, this paper proposes a message-driven data processing technology in the meteorological service to improve the timeliness of meteorological data services and the uniformity of data resources. The key technologies, such as message middleware, system architecture, interactive file standard, are introduced here. An example of PM-MQPF data is described in detail to express the advantages of data flow, which was driven by messages in meteorological data services system. Keyword: meteorological data, message-oriented middleware, interactive file standard, system design 0 引言 公共气象服务中心应用的气象服务数据系统存在数据 气象服务是人类生产生活的基础条件，它不仅与 处理流程交叉、运行效率低、业务耦合性强等问题。 公众生活密切相关，同时也直接影响政府决策、国民 本文提出利用消息驱动业务流程，解决上述问题。 生产以及社会发展。随着信息网络技术的不断发展， 具体而言，利用消息中间件高效可靠的传递机制进行 各行各业对气象服务的要求越来越趋于精细化，随之 平台无关的数据交换，基于数据通信进行分布式系统 而来，分门别类的气象服务产品层出不穷。为满足各 的集成。发送者将消息发送到消息服务器，消息服务 类应用需求，数据信息交互单元也逐渐变得庞杂。当 器将消息存放在若干队列中，在满足触发条件后再将 前，在中国气象局信息化建设的大背景下，公共气象 消息转发给接收者。消息传输模型分为点对点模型 服务信息化建设的需求越来越紧迫，集中表现在从分 （PTP ）和发布/订阅模型 （pub/sub ），发布/订阅模 散向集约化发展，提供统一的气象数据服务。因此， 型具有异步、松耦合、多对多通信等特点。发布者广 本文梳理了国家级公共气象服务业务的数据流，分析 播发送消息给中间代理，订阅者只需去代理中接收自 了现存问题，提出了基于消息的气象服务数据加工流 己感兴趣的消息，发布者并不