第九章 数据挖掘和数据可视化.pptVIP

第二节 数据可视化 第二节 数据可视化 数据可视化的概念； 数据可视化的意义。 （一）数据可视化的概念 数据可视化是关于数据之视觉表现形式的研究。 数据可视化是当前的一个热点问题，特别在交互设计领域，如何把数据——特别是大规模的数据进行可视化就成为了一个非常热门的问题 。 决策支持系统 第九章 数据挖掘与数据可视化 本章学习目的与要求 理解数据挖掘的基本概念； 掌握数据挖掘常用的算法； 理解数据可视化的基本概念； 内容提示 第一节 数据挖掘 第二节 数据可视化 第一节 数据挖掘 （一）数据挖掘概念---前言 信息产业的发展引发了数据的大量聚集，如一个中等规模企业每天要产生100MB以上来自各生产经营等多方面的商业数据；在科研方面，以美国宇航局的数据库为例，每天从卫星下载的数据量就达3~4TB之多。 据估计，1993年全球数据存贮容量约为二千TB，到2000年增加到三百万TB，面对这极度膨胀的数据信息量，人们受到“信息爆炸”、“混沌信息空间” 和“数据过剩” 的巨大压力。 前言 人类的各项活动都是基于人类的智慧和知识，即对外部世界的观察和了解，做出正确的判断和决策以及采取正确的行动; 而数据仅仅是人们用各种工具和手段观察外部世界所得到的原始材料，它本身没有任何意义。 从数据到知识到智慧，需要经过分析加工处理精炼的过程。 前言 数据与知识间的关系 数据到知识的转变 数据仓库的出现，为更深入对数据进行分析提供了条件，它不同于管理日常工作数据的数据库，它更便于分析针对特定主题的集成化的、时变的的数据，且这些数据一旦存入就不再发生变化; OLAP是数据分析手段的一大进步，以往的分析工具所得到的报告结果只能回答“什么”（WHAT），而OLAP的分析结果能回答“为什么”（WHY）。 数据到知识的转变 但OLAP是建立在用户对深藏在数据中的某种知识有预感和假设的前提下，由用户指导的信息分析与知识发现过程; 由于数据仓库中的数据来源于多个数据源，因此其中埋藏着丰富的不为用户所知的有用信息和知识，而要使企业能及时准确地做出科学的经营决策，就需要有基于计算机与信息技术的智能化自动工具，来帮助挖掘隐藏在数据中的各类知识。 数据挖掘的产生 九十年代中期以来，许多软件开发商，基于数理统计、人工智能、机器学习、神经网络、进化计算和模式识别等多种技术和市场需求，开发了许多数据挖掘与知识发现软件工具，从而形成了近年来软件开发市场的热点。 目前数据挖掘工具已开始向智能化整体数据分析解决方案发展，这是从数据到知识演化过程中的一个重要里程碑。 数据挖掘的产生 数据到知识的演化过程示意图 （一）数据挖掘的概念 数据挖掘（Data Mining, DM）：又名数据库中的知识发现（Knowledge discovery from database,简称KDD），它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。 简单地讲就是从大量数据中挖掘或抽取出知识。 数据挖掘的步骤 数据挖掘过程示意图 数据挖掘的过程 整个知识挖掘过程是由若干挖掘步骤组成，而数据挖掘仅是其中的一个主要步骤。整个知识挖掘的主要步骤有： （1）数据清洗：清除数据噪声和与挖掘主题明显无关的数据； （2）数据集成：将来自多数据源中的相关数据组合到一起； （3）数据转换：将数据转换为易于进行数据挖掘的数据存储形式。 数据挖掘的过程 （4）数据挖掘：利用智能方法挖掘数据模式或规律知识； （5）模式评估：根据一定评估标准从挖掘结果筛选出有意义的模式知识； （6）知识表示：利用可视化和知识表达技术，向用户展示所挖掘出的相关知识。 （二）数据挖掘的任务 利用数据挖掘技术可以帮助获得决策所需的多种知识。在许多情况下，用户并不知道数据存在哪些有价值的信息知识，因此对于一个数据挖掘系统而言，它应该能够同时搜索发现多种模式的知识，以满足用户的期望和实际需要。 （二）数据挖掘的任务 数据挖掘功能以及所能够挖掘的知识类型说明描述如下： （1）关联分析； （2）分类与预测； （3）聚类分析； （4）异类分析； （5）演化分析。 （1）关联分析 关联分析（association analysis ）就是从给定的数据集发现频繁出现的项集模式知识（又称为关联规则，association rules）。 关联分析广泛用于市场营销、事务分析等应用领域。 通常关联规则具有：X ?Y 形式，表示“数据库中的满足 X 中条件的记录也一定满足 Y 中的条件”。 关联分析示例 一个数据挖掘系统可以从一个商场的销售(交易事务处理)记录数据中，挖掘出如下所示的关联规则： Age(X,”20-29”