DM系统.ppt

数据挖掘—— 系统介绍 什么是数据挖掘 数据挖掘是从大量数据中提取或“挖掘”知识。 许多人把数据挖掘视为另一个常用的术语“数据库中知识发现”或KDD 的同义词。而另一些人只是把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程如图所示，由以 下步骤组成： 1. 数据清理（消除噪音或不一致数据） 2. 数据集成（多种数据源可以组合在一起） 3. 数据选择（从数据库中提取与分析任务相关的数据） 4. 数据变换（数据变换或统一成适合挖掘的形式；如，通过汇总或聚集操作） 5. 数据挖掘（基本步骤，使用智能方法提取数据模式） 6. 模式评估（根据某种兴趣度度量，识别提供知识的真正有趣的模式） 7. 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 知识发现过程 基于这种观点，典型的数据挖掘系统具有以下主要成分： 数据库、数据仓库、或其它信息库：这是一个或一组数据库、数据仓库、展开的表、或其它类型的信息库。可以在数据上进行数据清理和集成。 数据库或数据仓库服务器：根据用户的数据挖掘请求，数据库或数据仓库服务器负责提取相关数据。 知识库：这是领域知识，用于指导搜索，或评估结果模式的兴趣度。这种知识可能包括概念分层，用于将属性或属性值组织成不同的抽象层。用户确信方面的知识也可以包含在内。可以使用这种知识，根据非期望性评估模式的兴趣度。领域知识的其它例子有兴趣度限制或阈值和元数据（例如，描述来自多个异种数据源的数据）。 数据挖掘引擎：这是数据挖掘系统基本的部分，由一组功能模块组成，用于特征、关联、分类、聚类分析、演变和偏差分析。 模式评估模块：通常，该部分使用兴趣度度量，并与挖掘模块交互，以便将搜索聚焦在有趣的模式上。它可能使用兴趣度阈值过滤发现的模式。模式评估模块也可以与挖掘模块集成在一起，这依赖于所用的数据挖掘方法的实现。对于有效的数据挖掘，建议尽可能地将模式评估推进到挖掘过程之中，以便将搜索限制在有兴趣的模式上。 图形用户界面：该模块在用户和挖掘系统之间通讯，允许用户与系统交互，指定数据挖掘查询或任务，提供信息、帮助搜索聚焦，根据数据挖掘的中间结果进行探索式数据挖掘。此外，该成分还允许用户浏览数据库和数据仓库模式或数据结构，评估挖掘的模式，以不同的形式对模式可视化。 第一层：数据预处理 有大量数据预处理技术。数据清理可以去掉数据中的噪音，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据方。数据变换（如规范化）也可以使用。例如，规 范化可以改进涉及距离度量的挖掘算法的精度和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来压缩数据。这些数据处理技术在数据挖掘之前使用，可以大大提高数据挖掘模式的质量，降低实际挖掘所需要的时间。 第二层：数据仓库和数据集市 数据仓库是一个面主题的、集成的、时变的、非易失的数据集合，支持管理决策制定。 面向主题的：数据仓库围绕一些主题，如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析，而不是构造组织机构的日常操作和事务处理。因此，数据仓库排除对于决策无用的数据，提供特定主题的简明视图。 集成的：通常，构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机事务处理记录，集成在一起。使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量的一致性。 时变的：数据存储从历史的角度提供信息。数据仓库中的关键结构，隐式或显式地包含时间元素。 非易失的：数据仓库总是物理地分离存放数据；这些数据源于操作环境下的应用数据。由于这种分离，数据仓库不需要事务处理、恢复和并行控制机制。通常，它只需要两种数据访问：数据的初始化装入和数据访问。 三层数据仓库结构系统 元数据存储 元数据是关于数据的数据。在数据仓库中，元数据是定义仓库对象的数据。 数据仓库结构的描述，包括仓库模式、视图、维、层次结构、导出数据的定义，以及数据集市的位置和内容。 操作元数据，包括数据血统（移植数据的历史和用于它的转换序列），数据流通（主动的、档案的、或净化的），和管理信息（仓库使用统计、错误报告、审计跟踪）。 汇总用的算法，包括度量和维定义算法，数据所处粒度、分割、主题领域、聚集、汇总、预定义的查询与报告。 由操作环境到数据仓库的映射，包括源数据库和它们的内容、网关描述、数据分割、数据提取、清理、转换规则和缺省、数据刷新和剪裁规则、安全（用户授权 和存取控制）。 关于系统性能的数据，除刷新、更新定时和调度的规则与更新周期外，还包括索引和改善数据存取和提取性能的方法。 商务元数据，包括商务术语和定义、数据拥有者信息和收费策略。 OLAP联机分析处理 数据仓库里一般都是以数据立方体的形式存储。OLAP主要有四种操作： 上卷：通过沿概念分层向上攀升，或者通过维归约，在数据方上进行