李德仁院士_空间数据挖掘和知识发现的理论与方法_(minimizer)详解.ppt

空间数据挖掘和知识发现 的理论与方法 李德仁院士 主要内容 1. 引言 2. 空间数据挖掘和知识发现的框架 3.数据场和云模型及其应用 4.Rough集理论及其应用 5.空间数据聚类 6.长江三峡宝塔滑坡监测数据挖掘 7.归纳学习及其在空间数据挖掘中的应用 8.基于空间统计学的自动影像搜索 9.总结与展望 1. 引 言 数据挖掘和知识发现(DMKD)的发展简况 起源于从数据库发现知识(KDD)，定义为“从数据中发现隐含的、先前不知道的、潜在有用的信息的非平凡过程”（1991）。 Fayyad等（1996）曾对KDD和数据挖掘(Data Mining)重新定义和加以区分。人们习惯上把DM和KDD合起来使用，称为DMKD。 对关系数据库和事务数据库的DMKD研究已取得很多进展，并有商用软件问世。 1. 引 言 DMKD一般主要发现广义、分类、关联、预测等四类知识。 目前国际DMKD大会以及亚太DMKD会议每年举行一次。1997年1月，国际DMKD杂志创刊。 我国对DMKD的研究稍晚，目前已十分活跃。1993年国家自然科学基金首次支持该领域的研究项目。作者在1994年提出了从GIS数据库发现知识的建议（SDM&KDD)。 1. 引 言 遥感和GIS对空间数据挖掘和知识发现的需求 数据海量---信息不足---知识贫乏 从GIS和影像数据库发现知识用于遥感图像解译 从属性数据库发现知识用于GIS的智能化空间分析 2.空间数据挖掘和知识发现的理论与技术框架 数据、信息和知识 空间数据挖掘和知识发现的定义和特点 发现状态空间理论 从空间数据库可发现的知识类型 空间数据挖掘和知识发现的方法 空间数据挖掘和知识发现的定义和特点 空间数据挖掘和知识发现的定义 空间数据挖掘和知识发现（SDMKD）是从空间数据库中提取隐含的、用户感兴趣的空间的和非空间的模式和普遍特征的过程。 SDMKD的特点 需要确定数据挖掘的粒度 需要对图形和影像数据进行处理、分析和特征提取 发现状态空间理论 针对关系数据库的三维发现状态空间 面向属性的操作: 对属性之间关系的认识和发现 面向宏元组的操作: 对各宏元组之间一致性和差异性的认识和发现； 面向知识模板的操作: 是属性值从微观到宏观的操作，使知识模板上升到抽象级别更高的知识模板。 针对空间数据库的四维发现状态空间 面向空间尺度的操作：是对空间数据由细到粗的计算、变换、概括、综合的过程。 空间数据挖掘机理 人类思维:具有层次性,自然语言的语言原子是人类思维的原子模型,概念是人类思维的基本细胞单元。 概念空间:自然语言中的基本语言值是个定性概念，对应着一个定量的数据空间，反映概念的内涵和外延。 特征空间:人类思维过程中的对象，对应着一个定量的数据空间，反映对象的多个属性。 知识 = 规则+例外 数据挖掘的机理:基于不同认知层次的“数据→概念→知识”视图，而空间知识则是各级的 “规则加例外”。认知层次主要由粒度和尺度表达， 基于认知层次的发现状态空间 空间数据清理 空间数据常有污染，需要清理。 空间数据清理指有助于提高空间数据质量的过程。 空间数据清理主要包括：不完整数据、不准确数据、重复记录、不一致数据、图形图像的清理等，以及清理空间观测数据的误差的广义线性概括模型、粗差的稳健估计、检测方法和可靠性分析方法。 空间数据挖掘的难点 空间数据挖掘面对的首先是空间观测数据，然后才形成概念；先有连续的数据量，然后才有离散的符号量. 对同样的一堆数据，同一个人从不同的角度看，有不同的结果；不同的人看，也可能有不同的结果。可谓仁者见仁，智者见智。 若由空间观测数据不能完全精确地认识数据母体的规律时，则观测数据对应的样本对母体而言非完备，是一个病态反演问题。 从空间数据库可发现的知识类型 普遍的几何知识 空间分布规律 空间关联规则 空间分类/聚类规则 空间特征规则 空间区分规则 空间演变规则 面向对象的知识 空间数据挖掘和知识发现的方法 统计方法和空间统计学 归纳方法 聚类方法 空间分析方法 探测性的数据分析 Rough集方法 数据场和云模型 图像分析和模式识别、神经网络、证据理论、遗传算法、数学形态学... 3.数据场和云模型及其应用 数据辐射 数据场的概念和性质条件 数据场的场强函数 数据场的势 数据场的影响因素 数据辐射 数据辐射就是观测数据能量从样本空间散布发射到整个母体空间，而被数域空间中的周围点所分享的过程。 数据通过数据辐射将其数据能量从样本空间辐射到整个母体空间，从离散的观测点辐射到连续面上的任意一点，以显示自己在空间数据挖掘和知识发现任务中的存在和作用。 数据辐射把每个空间数据在空间数据挖掘中的不同作用抽象为数据能量，使空间数据挖掘变得具体化。 数据辐