第九章-数据挖掘和数据可视化.pptxVIP

第九章

决鸷绮视化;

本章学习目的与要求

●理解数据挖掘的基本概念；

●掌握数据挖掘常用的算法；

●理解数据可视化的基本概念；;

内容提示

第一节数据挖掘

第二节数据可视化;

第一节数据挖掘;

第一节数据挖掘

数据挖掘的概念；

数据挖掘的任务。;

(一)数据挖掘概念---前言

信息产业的发展引发了数据的大量聚集，如一个中等规模企业每天

要产生100MB以上来自各生产经营等多方面的商业数据；在科研方面，以美国宇航局的数据库为例，每天从卫星下载的数据量就达3~4TB之多。

◆据估计，1993年全球数据存贮容量约为二千TB,到2000年增加到三

百万TB,面对这极度膨胀的数据信息量，人们受到“信息爆炸”、“混沌信息空间”和“数据过剩”的巨大压力。;

前言

◆人类的各项活动都是基于人类的智慧和知识，即对外部世界的观察和了解，做出正确的判断和决策以及采取正确的行动；

而数据仅仅是人们用各种工具和手段观察外部世界所得到的原始材料，它本身没有任何意义。

◆从数据到知识到智慧，需要经过分析加工处理精炼的过程。;

前言

收集数据分析信息深入分析

决策与行动

数据与知识间的关系;

数据到知识的转变

◆数据仓库的出现，为更深入对数据进行分析提供了条件，它不同于管理日常工作数据的数据库，它更便于分析针对特定主题的集成化的、时变的的数据，且这些数据一旦存入就不再发生变化；

◆OLAP是数据分析手段的一大进步，以往的分析工具所得到的报告结果只能回答“什么”(WHAT),而OLAP的分析结果能回答“为什么”(WHY)。;

数据到知识的转变

◆但OLAP是建立在用户对深藏在数据中的某种知识有预感和假设的前提下，由用户指导的信息分析与知识发现过程；

◆由于数据仓库中的数据来源于多个数据源，因此其中埋藏着丰富的不为用户所知的有用信息和知识，而要使企业能及时准确地做出科学的经营决策，就需要有基于计算机与信息技术的智能化自动工具，来帮助挖掘隐

藏在数据中的各类知识。;

数据挖掘的产生

九十年代中期以来，许多软件开发商，基于数理

统计、人工智能、机器学习、神经网络、进化计算和模式识别等多种技术和市场需求，开发了许多数据挖掘与知识发现软件工具，从而形成了近年来软件开发市场的热点。

目前数据挖掘工具已开始向智能化整体数据分析

解决方案发展，这是从数据到知识演化过程中的一个重要里程碑。;

数据挖掘的产生;

(一)数据挖掘的概念

数据挖掘(DataMining,DM):又名数据库中的知识发现(Knowledgediscoveryfrom

database,简称KDD),它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。

简单地讲就是从大量数据中挖掘或抽取出知识。;

评估与表示

数据挖掘知识

模式

特定数

据集;

数据挖掘的过程

整个知识挖掘过程是由若干挖掘步骤组成，而数据挖掘仅是其中的一个

主要步骤。整个知识挖掘的主要步骤有：

(1)数据清洗：清除数据噪声和与挖掘主题明显无关的数据；

(2)数据集成：将来自多数据源中的相关数据组合到一起；

(3)数据转换：将数据转换为易于进行数据挖掘的数据存储形式。;

数据挖掘的过程

(4)数据挖掘：利用智能方法挖掘数据模式或规

律知识；

(5)模式评估：根据一定评估标准从挖掘结果筛

选出有意义的模式知识；

(6)知识表示：利用可视化和知识表达技术，向

用户展示所挖掘出的相关知识。;

(二)数据挖掘的任务

利用数据挖掘技术可以帮助获得决策所需的多种

知识。在许多情况下，用户并不知道数据存在哪些有价值的信息知识，因此对于一个数据挖掘系统而言，它应该能够同时搜索发现多种模式的知识，以满足用户的期望和实际需要。;;

(1)关联分析

关联分析(associationanalysis)就是从给定

的数据集发现频繁出现的项集模式知识(又称为关

联规则，associationrules)。

关联分析广泛用于市场营销、事务分析等应用领域。

通常关联规则具有：X→Y形式，表示“数据库

中的满足X中条件的记录也一定满足Y中的条件”。;

关联分析示例

一个数据挖掘系统可以从一个商场的销售(交易事务处理)记录数据中，

挖掘出如下所示的关联规则：

Age(X,20-29)入income(X,20K-

30K”)→buys(X,MP3)

[support=2%,confidence=60%]

上述关联规则表示：该商场有2%的顾客年龄在20岁到29岁且收入在2万