- 1、本文档共177页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
自动化前沿 第四讲 数据挖掘技术及其应用 宋执环 浙江大学工业控制研究所 主要内容 一、数据挖掘概述 数据挖掘概念 数据挖掘--从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术的综合。 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构; 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。 数据挖掘与KDD 知识发现(KD) 输出的是规则 数据挖掘(DM) 输出的是模型 共同点 两种方法输入的都是学习集(learning sets) 目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化,只能半自动化 异常检测 异常检测是数据挖掘中一个重要方面,用来发现”小的模式”(相对于聚类),即数据集中间显著不同于其它数据的对象。 异常探测应用 电信和信用卡欺骗 贷款审批 药物研究 气象预报 金融领域 客户分类 网络入侵检测 故障检测与诊断等 什么是异常(outlier)? Hawkins(1980)给出了异常的本质性的定义:异常是在数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制。 聚类算法对异常的定义:异常是聚类嵌于其中的背景噪声。 异常检测算法对异常的定义:异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。 异常检测方法的分类 基于统计(statistical-based)的方法 基于距离 (distance-based)的方法 基于偏差(deviation-based)的方法 基于密度(density-based)的方法 高维数据的异常探测 数据挖掘系统的特征 数据的特征 知识的特征 算法的特征 数据的特征 大容量 POS数据(某个超市每天要处理高达2000万笔交易) 卫星图象(NASA的地球观测卫星以每小时50GB的速度发回数据) 互联网数据 含噪音(不完全、不正确) 异质数据(多种数据类型混合的数据源,来自互联网的数据是典型的例子) 系统的特征 知识发现系统需要一个前处理过程 数据抽取 数据清洗 数据选择 数据转换 知识发现系统是一个自动/半自动过程 知识发现系统要有很好的性能 知识(模式)的特征 知识发现系统能够发现什么知识? 计算学习理论COLT(Computational Learning Theory) 以FOL为基础的以发现关系为目的的归纳逻辑程序设计 现行的知识发现系统只能发现特定模式的知识 规则 分类 关联 知识表示:规则 IF 条件 THEN 结论 条件和结论的粒度(抽象度)可以有多种 单值 区间 模糊值 规则可以有确信度 精确规则 概率规则 知识表示:分类树 数据挖掘算法的特征 构成数据挖掘算法的三要素 模式记述语言:反映了算法可以发现什么样的知识 模式评价:反映了什么样的模式可以称为知识 模式探索:包括针对某一特定模式对参数空间的探索和对模式空间的探索 数据挖掘的主要方法 分类(Classification) 聚类(Clustering) 相关规则(Association Rule) 回归(Regression) 其他 数据挖掘系统 数据挖掘系统 第一代数据挖掘系统 支持一个或少数几个数据挖掘算法,这些算法设计用来挖掘向量数据(vector-valued data),这些数据模型在挖掘时候,一般一次性调进内存进行处理。许多这样的系统已经商业化。 第二代数据挖掘系统 目前的研究,是改善第一代数据挖掘系统,开发第二代数据挖掘系统。第二代数据挖掘系统支持数据库和数据仓库,和它们具有高性能的接口,具有高的可扩展性。例如,第二代系统能够挖掘大数据集、更复杂的数据集、以及高维数据。这一代系统通过支持数据挖掘模式(data mining schema)和数据挖掘查询语言(DMQL)增加系统的灵活性。 数据挖掘系统 第三代数据挖掘系统 第三代的特征是能够挖掘Internet/Extranet的分布式和高度异质的数据,并且能够有效地和操作型系统集成。这一代数据挖掘系统关键的技术之一是提供对建立在异质系统上的多个预言模型以及管理这些预言模型的元数据提供第一级别(first class)的支持。 第四代数据挖掘系统 第四代数据挖掘系统能够挖掘嵌入式系统、移动系统、和普遍存在(ubiquitous)计算设备产生的各种类型的数据 。 二、数据预处理 为什么需要预处理 数据 不完整 含观测噪声 不一致 包含其它不希望的成分 数据清理通过填写空缺值,平滑噪声数据,识别删除孤立点,并解决不一致来清理数据。 污染数据形成的原因 滥用缩写词 数据输入错误 数据中的内嵌控制信息 不同的惯用语 重复记录 丢失值 拼写变化 不同的计量单位 过时的编码 含有各种噪声 数据清理的重要性 污染数据的普遍存在,使得在大型
您可能关注的文档
- 十户联防业务介绍(正式)V蓝色.ppt
- 十七、抽搐与惊厥.ppt
- 石家庄中盛·林语花庭营销策略方案.ppt
- 石墨负极材料介绍.ppt
- 石油大学结构力学第9章c.ppt
- 石钟山记课件.ppt
- 时间定额和和工艺过程的技术经济分析.ppt
- 时间序列分析--第四章非平稳序列的确定性分析.ppt
- 实际问题与一元一次方程1和差倍分.ppt
- 实数与数轴(课件).ppt
- 某某单位2024年党建工作总结及2025年工作计划.doc
- 某某市发改委关于2024年度落实党风廉政建设工作责任制情况的报告.doc
- 某某局2024年全面从严治党和党风廉政建设工作总结.doc
- 某某区财政局2024年法治政府建设总结及2025年工作谋划.doc
- 2024年党管武装工作述职报告2篇.doc
- 2024年度国企党委书记抓基层党建工作述职报告3篇.doc
- 公司党委书记2024年述职述廉报告.docx
- 2024年度乡镇党委领导班子民主生活会(四个带头)对照检查材料.doc
- 市医疗保障局关于2024年法治政府建设工作情况的报告.docx
- 市民政局党组2024年巡察整改工作情况报告.docx
文档评论(0)