数据挖掘及其在气象中应用.pdfVIP

Sl3 数据挖掘及其在气象中的应用 史纬恒胡友彬郝志男 (解放军理工大学气象海洋学院．南京，211101) 摘 要 数据挖掘是一个多学科交叉的新兴研究领域，汇集r来自机器学习、模式识别、数据库、统计学、 人工智能以及管理信息系统等各学科的成果，已初具规模。将其应用于气象领域，对天气预报、短期气候 预测及专业气象服务将会产生积极的影响．本文总结了数据挖掘的基本概念、发展过程、主要方法、常用 工具以及其在气象中的应用，并且使用聚类分析法对2005—2009年6-8月的气象观探测报文进行分析得出 了将南京地区强对流天气发生的联指数的阈值定为39．8的结论。 关键词；数据挖掘，强对流天气，对流指数． 近年来，随着气象各种业务的快速发展，尤其是先进的探测手段和工具提供了多层次、 多要素、多时效的气象数据，为预报员开展各种业务奠定了良好的基础，提高了大气预报的 能力及准确率。因而，如何从大量的资料中挖掘有用的信息就显得十分追切。 1数据挖掘的基本概念以及发展 关于数据挖掘的定义，不同人给出的定义不是很…致。壁鏊基金逝鳖选认为数据挖掘 (DataMining)，就是从存放在数据库，数据仓库或其他信息库中的大量的数据中获取有效 的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。@chariot600．将数据挖掘做了 以下两种不同的定义：(1)“从数据中提取出隐含的过去未知的有价值的潜在信息”(2)“一 门从大量数据或者数据库中提取有用信息的科学。”壁熬援挖握：蔓熬援坌叛则将数据挖掘具 体化成首先描述数据并计算统计变量(比如平均值、均方差等)．再用图表或图片直观的表 示出来，进而可以看出一些变量之问的相关性的一个过程。一般来讲，数据挖掘就是从大量 的、不完全的、有噪声的、模糊的和随机的数据中，提取隐含在其中的、人们事先不知道的。 但又是潜在有用的信息和知识的过程。这些知识或信息表示为概念、规则、规律、模式等形 式。 数据挖掘的三大要素是技术和算法、数据和预测模型。数据挖掘的最终目的是为了提高 决策支持DSS(辅助)的科学性。与传统分析方法相比，虽然数据挖掘也运用统计分析手段， 但它不仅仅解决常规数理统计问题，更多的用来找出不同独立事件或现象的内在关联，发现 离群数据点的产生原因，对大量数据进行聚类和演变分析，从而揭示隐藏在背后的事务发展 规律和相关性．是统计分析方法学的延伸和扩展。 2数据挖掘的主要方法 日前商用产品实现的数据挖掘的主要功能有：数据查询、数据报表、趋势回归预测、投 入产出分析、聚类分析、主成分分析、判别分析及决策设计等。不同的应用领域有不同核心 任务。因此，对于具体用户来说，建立具有行业特性的目标函数仍然是数据挖掘成败的关键。 首先要知道你想要什么，然后再寻找技术解决途径。在数据挖掘模型建立过程中，往往模型 建立者趋向于验证自己心中潜在认为的“某规律”而设计模型，结果得出的结论大多接近设 定的规律。而这个过程并不是真的数据挖掘：其实模型的建立，更应该跳出数据之外。去发 现其潜在的不容易表述的规律，而它往往是不合规律的。 数据挖掘模型可分为概念／类描述、挖掘频繁模式、关联和相关、分类和预测、聚类分 析、离群点分析和演变分析等。在选择使用某种数据挖掘技术之前，首先要将待解决的业务 问题转化成正确的数据挖掘任务，然后根据挖掘任务来选择具体使用某一种或几种挖掘模 型。 数据挖掘工具根据其适用的范围分为两类：专用挖掘工具和通用挖掘工具。专用数据挖 掘工具是针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑了数据、需求 的特殊性，并作了优化。通用数据挖掘工具不区分具体数据的含义。采用通用的挖掘算法， 处理常见的数据类型。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖 掘都由用户根据自己的应用来选择。数据挖掘是一个过程。只有将数据挖掘工具提供的技术 和实施经验与企业的业务逻辑和需求紧密结合，并在实施的过程中不断的磨合，才能取得成 功。 注数据挖掘的高端产品．包括多种数据挖掘模型，Java应用和支持Web服务。大多数数据 挖掘厂商也提供数据仓库解决方案，业界将它们合称为商务智能(BI)。 3数据挖掘在气象领域的应用 数据挖掘在气象领域有着极其广泛的运用，其中，主要运用的方法有基于范例的推理 (Case—Based Reasonin