基于相异度系数和的孤立点挖掘应用和研究.pdfVIP

206 数学技术应用科学 Mathematics Science TechndogyApplied 基于相异度系数和的孤立点挖掘应用与研究· 房伟1，逄玉俊1，路爽2 (1．沈阳化工学院，辽宁沈阳110142；2．沈阳市气象局，辽宁沈阳110016) 摘要：孤立点检测是数据挖掘中一个重要方面，用来发现“小的模式”(相对于聚类)，即数据集中问显著 不同于其他数据的对象．在以往的数据挖掘应用中，孤立点经常被当作“噪声”而被剔除．而在天气预报中，恶 劣天气一般都是比较少见的，却需要我们能够准确预测出来．本文通过相异度的算法能够很好的挖掘出气候数 据中的孤立点． 关键词：数据挖掘；孤立点挖掘；天气预报；相异度 中图分类号：P456．7文献标识码：A文章编号：7—5416—2336—9(2006)一0206—03 随着信息技术的发展，数据库的规模不断扩 立点． 大，从而产生了大量的数据．为给决策者提供一个 许多数据挖掘算法试图使孤立点的影响最小 统一的全局视角，在许多领域建立了数据仓库．但 化，或者排除它们．但是由于一个人的噪声可能是 大量的数据往往使人们无法辨别隐藏在其中的能 另一个的信号，这可能导致重要的隐藏信息的丢 对决策提供支持的信息，而传统的查询、报表工具 失．例如，在欺诈探测中，孤立点可能预示着欺诈行 无法满足挖掘这些信息的需求．因此需要一种新的 为．此外，在市场分析中可根据孤立点去探究极低 数据分析技术处理大量数据，并从中抽取有价值的 或极高收入的客户的消费行为或者在医疗分析中 潜在知识，数据挖掘(Data 用于发现对多种治疗方式的不寻常的反应．总之， Mining)技术由此应运 而生．数据挖掘技术也正是伴随着数据仓库技术的 不管孤立点是应该去掉的噪声，还是隐藏有重要信 发展而逐步完善起来的． 息的数据单元，在数据挖掘中检测出数据集中的孤 立点是非常重要的． 1关于孤立点的数据挖掘 在孤立点检测中，主要是解决两个问题：什 孤立点挖掘是数据挖掘的一种．数据挖掘(da— 么是孤立点和如何发现孤立点．对第一个问题， ta HawkinsH mining)就是从大量的、不完全的、有噪声的、模 o给出了孤立点的一个本质性的定义：孤 糊的、随机的实际应用数据中，提取隐含在其中的、 立点是数据集中与众不同的数据，使人怀疑这些 人们事先不知道的、但又是潜在有用的信息和知识 数据并非随机偏差，而是产生于完全不同的机制； 的过程。 聚类算法对孤立点的定义是：孤立点是聚类嵌于 在数据仓库和知识发现领域，人们一直十分重 其中的背景噪声；而孤立点检测算法则认为孤立 点是既不属于聚类也不属于背景噪声的点，它们 视数据集中“孤立点”(outlier)的检测．在数据集 中，常常存在一些数据对象，它们不符合数据的一 的行为与正常的行为有很大不同． 般模型，即与数据的其他部分(往往是大部分不同 为有效地挖掘孤立点，研究者们根据孤立点 或不一致，我们称这样的数据对象为孤立点)．孤 存在的不同假设，开发了许多孤立点检测算法， 立点可能是度量或执行错误导致的．例如，一个人 大致可以分为基于统计的算法拍J、基于距离的算 的年龄为一999可能是程序对未记录的年龄的缺 法∞J、基于偏离的算法【6J、基于密度的算法∞J．由 省设置所产生的．另外，孤立点也可能是固有的数