数据挖掘与仓库在天气预报中的决策作用.docVIP

数据仓库技术在天气预报决策中的应用 【摘要】数据仓库技术将原始数据转换为便于分析的数据，并增强了管理和使用历史数据及特种观测数据的能力，能够帮助预报员快速积累经验，OLAP使预报员的分析突破了过去固有框架的限制。数据仓库技术作为数据库技术新的应用，经过数年的发展已经逐渐完善，将数据仓库技术应用于天气预报中将会给气象服务保障能力的提高产生巨大的推动作用。 【关键词】数据仓库；联机分析；数据挖掘 引言 目前国内外的预报员工作平台在天气预报决策支持方面主要是以提供数据查询为主，讲预报员常用的预报图表在计算机中集成地显示出来，同时也提供了一些初步的数据分析功能。但只有这些功能是不够的。首先，现代化天气预报业务系统提供的很多数据，预报员基本没有使用经验，同时在业务工作中预报员每次汇总分析数据和会商的时间很有限，使预报员既无时间也无经验充分利用现代化系统提供的丰富数据。其次，各台站在长期的业务工作中积累了大量历史数据，要有效利用这些数据，就必须增加管理和分析历史数据的工具。最后，随着探测技术的迅速发展，中尺度观测网和特种观测网的建立，增加了许多非常规的气象数据，要有效地管理和应用这些数据，也必须增加管理和分析这些特种数据的能力。因此，将数据仓库作为新一代预报决策系统的核心技术是值得尝试的。 数据挖掘与数据仓库技术的基本概念 数据挖掘DM(Data Mining)是指从数据中识别出潜在有用的、先前未知的、最终可理解的模式的非平凡过程。数据挖掘提取的知识可以表示成概念、规律、模式等形式。其挖掘对象不仅可以是数据库，也可以是文件系统或组织在一起的数据集合，更主要的是数据仓库。简单的说数据挖掘是提取或“挖掘”知识。 数据仓库（Data Warehouse）的概念是有Inmon首先提出来的，讲数据仓库定义为一个支持管理决策过程的、面向主题的、集成的、稳定的、随时间而变的数据集合。 二、气象数据与天气预报业务特点 （1）表数据种类多:各级气象台站日常收集的资料通常包括各种模式物理量场的空间格点资料、气象观测站点的地面(及海上)和高空实况资料以及卫星、雷达的探测资料,以及本地的气象观探测资料,还有根据任务需要而实施的其他气象观探测资料,每种气象数据资料又包含若干类数据,因此数据种类非常多. （2）数据量大:各级气象台站收集的各种资料每天都有若干时次,收集、存储的数据资料数据总量达上百兆,总的资料甚至可达GB量级. （3）预报业务范围广:从大类分为统计预报和数值预报,而每类又包括若干种天气预报项目如天气形势、物理量场、天气现象、气象要素等,决定了天气预报所需的气象数据多 （4）气象数据需要精心筛选:气象台站每天收集的数据很多,但并不是所有的数据对所有的气象台站进行的气象预报业务都有用,所需要的数据也可能很多也可能很少,这需要气象预报专家根据预报业务项目的需要对气象数据资料进行严格的精心筛选. (5）数据的深加工应用:通过人工或仪器观探测到的数据不足以充分反映大气系统的物理结构和物理场,只有经过对数据进行更深层次的筛选及计算,才能计算出大气的运动矢量、垂直运动、梯度、涡度、散度等物理量,从而更好地认识大气演变的规律及模式,进而提高气象预报的能力与水平. (6）数据可挖掘性高:由于气象预报理论和气象预报模型在某种程度上还具有一定的不完善性与不完备性,在天气预报实践中常常表现为预报准确率低以及一些气象预报业务无法高效率地展开,随着数据仓库技术在天气预报业务的应用,数据挖掘技术必将挖掘出大量的相关数据,促进气象预报理论和气象预报模型进一步完善与完备. (7）数据更新要求低:天气系统的演变有一定规律,而且气候变迁是一个漫长的过程,从而决定了数据不需要频繁更新 三、数据仓库设计要点 1．确定主题与开发模式 数据仓库是面向主题的,数据仓库设计首先要考虑所面向的主题,主题要针对具体的预报项目确定,主题的确定将决定数据仓库的规模和数据仓库数据组织模型及使用效果.对于基层气象台站技术力量相对薄弱,可以考虑从日常常规预报项目入手,在使用数据仓库的过程中再逐步扩大与完善数据仓库.由于各气象台站以前和现在使用的数据库系统都是关系型数据库系统,从节省成本和降低复杂性角度出发,在建立数据仓库时建议考虑建立关系型数据仓库.如果仅仅从气象数据特点角度考虑,建立多维数据仓库也是一种理想的选择.在天气预报中,有些不同的预报项目需要的数据是相同的,建立统一的数据仓库,采用“自顶向下”的开发模式,可以避免数据的重复处理.“自顶向下”模式中数据集市和数据仓库的关系是单方面的,数据从数据仓库流向数据集市. 2．数据建模 数据建模在数据仓库环境中,为了让不具备数据库专业知识的预报专家容易理解和使用数据仓库中的数据模式,必须设计成简单的数据模式.气象业务数据根据观探测手段和业务需要分成