第5章 数据挖掘概述.pptVIP

第5章数据挖掘概述 华南理工大学 廖开际 kaiji@163.com 教学目标 掌握数据挖掘的概念和过程 掌握数据挖掘所使用的方法和技术 了解从数据中可挖掘的知识类型及知识表示。 教学要求 引例: 啤酒与尿布 超市中啤酒和尿布能陈列在一起吗? 沃尔玛(Wal Mart) 是怎样做的? 引言 从大量数据中提取出隐藏在其中的有用信息 数据挖掘，也可以称为数据库中的知识发现(Knowledge Discover Database，KDD)，是从大量数据中提取出可信、新颖、有效并能被人理解的模式的高级处理过程。 本章内容 数据挖掘技术的由来 数据挖掘的定义 数据挖掘发现的知识类型 数据挖掘流程 数据挖掘方法和技术 数据挖掘技术的由来 信息爆炸但知识贫乏 《纽约时报》一周报道的信息总量，比十八世纪一个人一生接触的信息总量还多 “我们正在被信息所淹没，但我们却由于缺乏知识而感到饥饿。” 数据挖掘技术的由来 支持数据挖掘技术的基础 海量数据搜索 强大的多处理器计算机 数据挖掘算法 数据挖掘技术的由来 从商业数据到商业信息的进化 数据挖掘技术的由来 数据挖掘逐渐演变的过程 电子数据处理的初期,机器学习成为人们关心的焦点 神经网络技术的形成和发展，人们的注意力转向知识工程 20世纪80年代末一个新的术语，它就是数据库中的知识发现，简称KDD(Knowledge discovery in database) 数据仓库的发展是促进数据挖掘越来越受欢迎的原因之一 数据挖掘的定义 技术角度的定义 数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 该定义包括好几层含义： 数据源必须是真实的、大量的、含噪声的； 发现的是用户感兴趣的知识； 发现的知识要可接受、可理解、可运用； 并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 数据挖掘的定义 关于知识的解释 从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。 这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。 数据挖掘的定义 商业角度的含义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 数据挖掘对于企业的价值 所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。 数据挖掘的定义 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是： 在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知，有效和可用三个特征。 数据挖掘和数据仓库 数据仓库和数据集市是数据挖掘的一种数据源 数据挖掘是数据仓库的一个应用 对于数据挖掘，数据仓库不是必需的。 数据挖掘和在线分析处理(OLAP) OLAP分析师是建立一系列的假设，然后通过OLAP来证实或推翻这些假设来最终得到自己的结论。OLAP分析过程在本质上是一个演绎推理的过程。 数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式(模型)的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。 数据挖掘和OLAP具有一定的互补性。 数据挖掘、机器学习和统计 数据挖掘利用了人工智能(AI)和统计分析的进步所带来的好处。 数据挖掘不是为了替代传统的统计分析技术。相反，他是统计分析方法学的延伸和扩展。 数据挖掘就是利用了统计和人工智能技术的应用程序，他把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题 数据挖掘发现的知识类型 广义知识 关联知识 分类知识 预测知识 偏差知识。 广义知识 广义知识指类别特征的概括性描述知识。 根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物共同性质。 广义知识就是对大量数据的归纳、概括，提炼出带有普遍性的、概括性的描述统计知识。 描述统计是数据挖掘最基本的应用之一，经常和统计图(如直方图，柱形图，折线图，散点图等)配合使用。如当月公司利润总额、比较不同区域的销售量等。 广义知识的发现方法和实现技术有