思路非常明晰数据挖掘.ppt

自动化前沿 第四讲 数据挖掘技术及其应用 宋执环 浙江大学工业控制研究所 主要内容 一、数据挖掘概述 数据挖掘概念 数据挖掘--从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构； 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。 数据挖掘与KDD 知识发现（KD） 输出的是规则 数据挖掘（DM） 输出的是模型 共同点 两种方法输入的都是学习集（learning sets） 目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化，只能半自动化 异常检测 异常检测是数据挖掘中一个重要方面，用来发现”小的模式”(相对于聚类)，即数据集中间显著不同于其它数据的对象。 异常探测应用 电信和信用卡欺骗 贷款审批 药物研究 气象预报 金融领域 客户分类 网络入侵检测 故障检测与诊断等 什么是异常（outlier）？ Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。 聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。 异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。 异常检测方法的分类 基于统计（statistical-b