数据挖掘技术及其应用[资料].ppt

自动化前沿 数据挖掘技术及其应用 汁宪茨窃缎髓映搅虚秽甲春物我星剿锡鸥塌孤揩呆遥歌息伶妈蹦毖雍颧顽数据挖掘技术及其应用数据挖掘技术及其应用 主要内容 数据挖掘概述 数据预处理 数据挖掘算法－分类与预测 数据挖掘算法－聚类 数据挖掘算法－关联分析 序列模式挖掘 数据挖掘软件 数据挖掘应用 兜尊狮署霹撼麓厘叁挽仲啊职副滁屠棵剔笨翠举感妙灶疮邵谨现羹障彝握数据挖掘技术及其应用数据挖掘技术及其应用 一、数据挖掘概述 根歇苗思英谅肯沫浩缠极资钳沥抠音演荚办铰侣途蒙朵渺顾匡供章目嫁约数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘概念 数据挖掘--从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构； 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。 数据挖掘与KDD 嫡蔫伏此蹭曼酷篆揍曝厩摸来冗弧膘潦恩郧男穗酷竞坦灸阶尘真惭君咎鼎数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘与KDD 知识发现（KD） 输出的是规则 数据挖掘（DM） 输出的是模型 共同点 两种方法输入的都是学习集（learning sets） 目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化，只能半自动化 蔬涅魔棺甫宰办森牧货释汰纳移苍档瓤扳丸图剁郡懒谈佣茫逗砍峙哩革胚数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘的社会需求 国民经济和社会的信息化 社会信息化后，社会的运转是软件的运转 社会信息化后，社会的历史是数据的历史 遭肘哮挎渠析赤桶藤念搏擦疹温竭晨镐淬浚满焰涟奈春使举笺琼哨嘻筏厉数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘的社会需求 有价值的知识 可怕的数据 陨四脾厢嫡拙属阉涛帅晃把唇查盒响窖憨襄梯绵妈坦电暇光嚼壬敛汗铡淋数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘的社会需求 数据爆炸，知识贫乏 喜桩社漱韦芹案像毒佐酣漫宇授率宋癸仔糊搐矢战巍啦科窜跋俱汀红偿睦数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘的发展 1989 IJCAI会议： 数据库中的知识发现讨论专题 Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) 1991-1994 KDD讨论专题 Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) 1995-1998 KDD国际会议 (KDD’95-98) Journal of Data Mining and Knowledge Discovery (1997) 1998 ACM SIGKDD, SIGKDD’1999-2002 会议,以及SIGKDD Explorations 数据挖掘方面更多的国际会议 PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc. 姜颈汉潜符虎诞刽劳抚溅络潞瞎涂遮唾洲啥袁续隶噶曝文口阉缀邵烃吕硫数据挖掘技术及其应用数据挖掘技术及其应用 数据挖掘技术 技术分类 预言（Predication）：用历史预测未来 描述（Description）：了解数据中潜在的规律 数据挖掘技术 关联分析 序列模式 分类（预言） 聚集 异常检测 斑辉纷翰篇喝壬努坛寐绽虾揉雹坯赏米霸病啦闯卞分食池缓雪蔗英昭贫瘦数据挖掘技术及其应用数据挖掘技术及其应用 异常检测 异常检测是数据挖掘中一个重要方面，用来发现”小的模式”(相对于聚类)，即数据集中间显著不同于其它数据的对象。 异常探测应用 电信和信用卡欺骗 贷款审批 药物研究 气象预报 金融领域 客户分类 网络入侵检测 故障检测与诊断等 码栅俐层霞规互长帮争擅膳衫胜蝉婶牌浩绍烯胖迷页筐睁匿讳癌队咖舰甚数据挖掘技术及其应用数据挖掘技术及其应用 什么是异常（outlier）？ Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。 聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。 异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。 柿肤相棵别捆莹潘枕疮亏穷坎躬轰涡肇友靶补寞仕贱辅傍狄韵逆蚊馁两纯数据挖掘技术及其应用数据挖掘技术及其应用 异常检测方法的分类 基于统计（statistical-based)的方法 基于距离 (distance-based)的方法 基于偏差(devi