数据仓库与数据挖掘原理与应用-8-数据挖掘介绍.pptVIP

数据挖掘基本概念 近年来数据挖掘引起了人们的极大关注，其主要原因是：存在大量的数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理、生产控制、市场分析、工程设计和科学探索等。 数据挖掘基本概念（续） 数据挖掘是信息技术自然演化的结果。数据收集和DB创建机制的早期开发已成为稍后数据管理有效机制开发的必备基础，随着提供查询和事务处理的大量DBS广泛付诸实践，数据分析和理解自然成为下一个目标。 数据挖掘基本概念（续） 这必将带来对强有力的数据分析工具的需求。实际上，面对快速增长的海量数据，没有强有力的工具，理解它们已远远超出了人们的能力。 回顾数据管理技术： DB技术：能有效地存储数据和查询数据， 但不能有效地分析数据。 数据挖掘基本概念（续） DW与OLAP技术：具有汇总、合并和聚集功能，以及从不同的角度观察数据的能力。但只是客观、忠实地表现出用户想查询的众多因素分析汇总得出的报表，而报表的翻译将由用户判断。即缺乏对数据的深层次分析。 数据挖掘基本概念（续） DM技术：特别强调挖掘隐藏在大型数据集中有趣的数据模式（知识、规律），用于决策过程控制、信息管理、查询处理等。不但分析数据，而且帮助用户得知原因，并预测未来。 模式：它给出了数据特性或数据之间的关系，是对数据所包含的信息更抽象的描述。 模式按功能可以分为预测型模式和描述型模式。 在实际应用中，可以细分为关联模式、分类模式、聚类模式和序列模式等。 数据库应用的规模和深度 点  线 面 互联网  在线分析处理(OLAP) 在线事务处理 决策支持(DS) (OLTP) 数据挖掘(Data Mining) 数据挖掘基本概念（续） 因此，数据挖掘被普遍认为是非常有效的数据分析工具，是信息产业最重要的前沿之一，是最有前途的交叉学科。 数据挖掘基本概念（续） 数据挖掘涉及多学科技术的集成：DB技术，统计学，机器学习，高性能计算，模式识别，神经网络，数据可视化，信息检索，图象与信号处理和空间数据分析。 数据挖掘基本概念（续） 广义观点：数据挖掘是从存放在DB，DW或其他信息库中的大量数据中挖掘有趣知识的过程。 “从数据中发现有用模式”历来有很多称法，如: 数据挖掘（data mining） 知识提取(knowledge extraction) 信息发现(information discovery) 信息收获(information harvesting) 数据考古(data archaeology) 数据模式处理(data pattern processing) “数据挖掘”的称法大部分是由统计学家，数据分析学家和MIS团体使用的，在数据库领域也得到了广泛接受。 数据挖掘的发展 70～80年代：知识发现与数据挖掘结合 1989年6月：在美国底特律举行了第一届“从数据库中知识发现”的国际学术会议，在这次会议中第一次使用了KDD 这个词来强调“知识”是数据驱动(data-driven)发现的最终结果。 1995：加拿大召开第一届知识发现与数据挖掘国际学术会议 历届有关KDD的学术会议 数据挖掘的发展 数据挖掘技术的应用开发在国外已经迅速发展，许多大公司（如Informix, Oracle, IBM等）都投入了巨资对其进行研究，并开发出了一些产品和原型，如DBMiner、Quest、EXPLORA等。 第一本关于数据挖掘的国际学术杂志《Data Mining and Knowledge Discovery》于1997年3月创刊。 国内在这方面的研究起步比较晚，早期研究的方向多集中于关联规则的挖掘，近来关于时序模式、分类、聚类、WEB数据挖掘等的研究也日益受到重视，并取得了不少可喜的成果，一些原型系统或数据挖掘工具已经研制成功并在不断完善中。 数据挖掘系统的结构 数据挖掘系统可以采用三层的C/S结构： 第一层：为图形用户界面，位于系统的客户端； 第二层：为数据挖掘引擎，它是数据挖掘系统的核心，位于系统的应用服务器端； 第三层：为数据库与数据仓库，位于数据服务器端。 数据挖掘系统的结构－图形用户界面 该模块实现用户与数据挖掘系统之间的通信，允许用户与系统交互。用户可以通过图形化界面指定数据挖掘任务、输入有关信息，根据系统以可视化形式输出的数据挖掘的中间结果进行探索式的数据挖掘。此外，该模块还提供用户浏览数据库和数据仓库模式或数据结构、评价