面向决策分析的海量气象数值预报数据快速提取.pdf

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

Computer

Systems

Applications,2022,31(9):319−323

[doi:

10.15888/ki.csa.008683]

©中国科学院软件研究所版权所有.Tel:

+86-10

面向决策分析的海量气象数值预报数据快速提取①

李永生,

张金标,

张敏,

陈冰怀

(广东省气象探测数据中心,

广州

510080)

通信作者:

李永生,

E-mail:

879976993@

摘要:

以海量半结构化的气象数值预报数据产品为研究对象,

针对传统数据抽取方法效率不高的问题,

基于多进

程处理技术,

设计了一种基于精准位置寻址的快速数据块定位算法,

实现了数据块的精准定位;

设计了可按需在空

间范围内进行裁剪的截取算法,

可按需根据数据的属性维度、经纬度范围等信息实现数据按需抽取;

基于上述算法

实现了全流程统一控制的多进程数据读取的业务流程.

并以单平面耗时为主要考核指标,

分别采用1进程,

4进

程、8进程以及16进程进行数据处理,

实际测试结果表明,

采用16进程处理比单个进程处理的速度由257

ms提

高到37

ms.

该方法有效的提升非结构气象数值预报产品数据的抽取效率,

已在面向城市治理等气象决策分析业务

中业务化应用.

关键词:

非结构化模型;

数据抽取;

数据分析;

决策分析;

可视化分析

引用格式:

李永生,张金标,张敏,陈冰怀.面向决策分析的海量气象数值预报数据快速提取.计算机系统应用,2022,31(9):319–323.

http://www.c-s-

/1003-3254/8683.html

FastDataExtractionforNumericalWeatherPredictionBasedonDecisionAnalysis

LI

Yong-Sheng,

ZHANG

Jin-Biao,

ZHANG

Min,

CHEN

Bing-Huai

(Guangdong

Meteorological

Observation

Data

Center,

Guangzhou

510080,

China)

Abstract:

Traditional

data

extraction

methods

are

usually

inefficient.

To

address

this

problem,

we

first

design

an

exact

position

addressing-based

algorithm

with

multi-processing

methods

to

achieve

the

accurate

positioning

of

data

blocks

by

taking

the

massive

data

generated

from

semi-structured

numerical

weather

prediction

(NWP)

products

as

the

research

object.

Then,

an

extraction

algorithm

is

designed

to

extract

data

in

the

spatial

range

on

demand,

namely,

to

realize

on-

demand

data

extraction

according

to

attribute

dimensions

as

well

as

the

latitude

and

longitude

of

data.

As

a

result,

the

multi-process

data

reading

under

unified

whole-process

control

is

achieved

on

the

basis

of

the

above

t