数据仓库与数据挖掘在天气预报中作用.docVIP

数据仓库系统技术在天气预报技术的融合 [摘要]随着信息时代的不断进步，社会正处于数据技术飞速发展的良好状态。但是在数据信息极度膨胀的同时，并非所有的数据都可被利用，大量的数据浪费造成各种损失，所以有必要将这些数据转化为有用的信息。而传统的数据处理方法越来越不能满足使用要求，迫切需要一种从大量数据中搜索集中并去伪存真的技术。 [关键词]数据仓库与数据挖掘 技术 天气预报 引言 20世纪80年代后期至今高级数据分析——数据挖掘（Data Mining）简称DM发展起来是开发信息资源的一套科学方法、算法以及软件工具和环境是集统计学、人工智能、模式识别、并行运算、机器学习、数据库等技术为一体的一个交叉性的研究领域。 数据挖掘的基本概念 数据挖掘DM(Data Mining)是指从数据中识别出潜在有用的、先前未知的、最终可理解的模式的非平凡过程。数据挖掘提取的知识可以表示成概念、规律、模式等形式。其挖掘对象不仅可以是数据库，也可以是文件系统或组织在一起的数据集合，更主要的是数据仓库。简单的说数据挖掘是提取或“挖掘”知识。 在一般基层气象台站天气预报中,传统的手段是预报员根据经验,利用当天及前几天的少数站点的实况资料及小范围的区域内少数的几个物理量,提取与某一天气现象相关性较高的气象要素作为因子,进行回归、判断分析,即得出预报员个人意见,而手头的“海量”的资料作为历史资料保存,并未在气象预报中发挥作用.另一方面,传统的数据分析手段也根本无法应付这些“海量”的数据,使预报员无法综合理解并有效的使用这些资料用于指导天气预报,从而形成了数据产生、数据理解与数据应用之间存在着很大的差距. 因此,将数据仓库系统技术应用到气象领域,从一个全新的角度将气象资料进行分析处理,将各种数据经过清洁、抽取、变换、概括和聚集等操作,按气象预报的需要进行数据重组和数据存储,提供全局的、统一的、语义一致的、组织良好的数据视图,在此基础上进行联机分析处理、数据挖掘等技术处理,发现各物理量和气象要素与某天气现象之间的关系,解决长期以来台站预报员“面对堆积如山的资料无从下手,只好置之不理”的尴尬局面,使天气预报中的主观因素少些,客观因素多一些,同时也利于预报模式不断的改进,最终产生较为理想的预报模式。 数据挖掘技术在天文数据分析中的应用 数据挖掘在天文学上有一个非常著名的应用系统:SKICAT。它是美国加州理工学院(CIT)与天文科学家合作开发的用于帮助天文学家发现遥远的类星体的一个工具。SKICAT既是第一个获得相当成功的数据挖掘应用，也是人工智能技术在天文学和空间科学上第一批成功应用之一。利用SKICAT，天文学家已发现了16个新的极其遥远的类星体，该项发现能帮助天文工作者更好地研究类星体的形成以及早期宇宙的结构。 在天文学研究以及航天数据分析中，人们遇到了一个很大的难题，即人工对大批量数据分析的无能为力。这里所说的数据量一般在数千兆以上，现有的大型数据库只是把数据以另一种形式给出，而并没有对数据进行更深层次的处理，因而，在对大量天体数据进行分析的过程中，很难起到根本的促进作用。SKICAT不仅提供对数据库的管理，并且通过训练可以对天体进行辨识。它采用了模块化设计，共有三个主要功能模块:分类建立、分类管理及统计分析。其中，分类建立是通过有示范的训练建立对天体的辨识机制。对天体的辨识是进行其它数据分析的前提，只有将天体识别出来以后，如是星系还是星球，才能进行相应的研究。使用SKICAT对天体数据进行分析，一方面是通过机器学习将知识提取过程由学习算法完成，从而可以实现对大批量数据的分析，另一方面是辨识那些亮度很低、人工难以判读的天体图像，以进行后续分析。SKICAT通过有效地对天体图像的特征进行定义，对那些亮度较低的图像可以得到比人工分类更好的结果。将仅由象素包含的关于天体的多维信息通过变换形成低维空间内的向量空间，并进而利用示范学习进行分类，以达到人工直接观察无法达到的分类精度。? 1、气象数据挖掘技术 1.1时空分析 气象数据具有很强的时序和空间特性,采用时间分析、空间分析以及时空联合分析气象数据,避开分析气象数据内部隐藏复杂非线性动力学机制。对任何一个天气特征,一般是通过空间分析得出该特征的现象描述和特征分析,而进行时间分析,一般是对该天气特征作出预报预测。空间分析对基于空间多站点数据的聚类分析,形成地理区域划分;对基于空间站点的数据进行主成份分析,得出影响天气现象较为突出的区域;同时聚类分析中,发现奇异点,指出反常现象。时间分析指对组成的长时间序列数据进行回归分析、趋势预测与奇异值分析;对时序数据的分布演变进行跟踪分析,得出比如台风路径等。 1.2降维分析 影响天气的因素众多,且各个因素间的关系十分复杂。现有的气象预报模式将大量的卫星、雷达和台站观察资料带入