数据仓库与数据挖掘数据的组织管理精要.pptVIP

* * 作业3 学习课本的相关内容 熟悉数据仓库结构体系的构成 理解数据仓库的数据组织要求和方法 查阅并学习数据仓库应用的材料，学习在数据仓库和数据挖掘的应用中需要解决的关键难题。 数据仓库与数据挖掘 * * 数据仓库原理：数据的组织管理 提要 内容回顾:几个重要的概念 数据仓库的结构与技术要求 数据仓库中数据的组织－－数据模型 数据仓库的概念模型 数据仓库的逻辑模型与物理模型 元数据 * * 数据仓库的总体结构 从数据仓库的概念结构看，应该包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成。 * * 数据仓库的总体结构 业务系统 外部 数据源 数 据 准 备 区 数据 集市/ 知识 挖掘 库 数 据 仓 库 数 据 库 数据 集市/ 知识 挖掘 库 应用工具 应用工具 用户 用户 管理工具 数据源 * * 数据仓库的体系结构 * * 数据仓库涉及的几个重要概念 外部数据源: 决策的需要 数据抽取 一部分业务数据用于支持决策活动 现代数据仓库产品几乎都提供数据接口和抽取引擎支持数据抽取 数据清洗 将不一致、错误的数据应予更正或删除，确保数据仓库中数据的正确 数据转换 格式的一致性转换 * * 数据仓库涉及的几个重要概念 数据加载 将清洗、转换后的数据装入数据仓库的过程 采取不同的加载策略 元数据 数据集市 数据仓库中的数据子集，只存放某个主题的数据，服务于某个业务部门 物理上或逻辑上划分 提高处理效率 数据粒度 数据仓库的数据单位中保存数据的细化程度或综合程度的级别，细化程度越高，粒度级别越低。 * * 数据仓库的层次结构 为实现数据仓库的功能，数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。 (1)数据仓库的基本功能层应该包含从数据源抽取数据，对所抽取的数据进行筛选、清理，将清理后的数据加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等功能。 (2)数据仓库的管理层包含数据管理与元数据管理两部分。数据管理与元数据管理主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。 (3)数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分。这两大部分对于数据仓库的创建和使用来说是必不可少的，没有这两个数据仓库的支持环境，数据仓库的创建与使用是无法实现的。 * * 数据仓库的结构模式 数据仓库的自顶向下结构 这是最早提出的数据仓库结构。 数据仓库的自底向上结构 核心是通过独立开发的数据集市逐渐构建数据仓库。 * * 数据集市 1.数据集市的产生 数据仓库工作范围和成本常常是巨大的。开发数据仓库是代价很高、时间较长的大项目。提供更紧密集成的数据集市就应运产生。 目前，全世界对数据仓库总投资的一半以上均集中在数据集市上。 数据集市（Data Marts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径 * * 数据集市的特点 具有数据仓库的基本特征 其他特点： 1、规模较小，灵活，可以按照多种方式来组织，如按特定的应用、部门、地域、主题等。 2、发工作一般由业务部门主持定义、设计、实施、管理和维护。 3、能够快速实现，代价较低，投资回收期 短，风险小。 4、紧密集成。 5、有利于进一步升级到完整的数据仓库或形成分布式数据仓库。 * * 数据集市的类型 数据集市可以分为两种， 一种是从属数据集市（Dependent Data Mart) 另一种是独立数据集市（Independent Data Mart), * * 数据仓库的技术要求：1.数据管理技术 （1）大批量数据管理 在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。 管理大批量数据包括管理大批量数据能力和管理好大批量数据的能力，即管理大批量数据技术要求管理能力的满足和管理的高效率两方面要求。 * * 数据仓库的技术要求：1.数据管理技术 （2）数据仓库的高效率索引与数据监视技术 数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。 显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建索引和使用索引的代价等。 * * 数据仓库的技术要求：1.数据管理技术 （3）元数据管理技术 典型的元数据包括： 数据仓库表结构。 数据仓库表属性。 数据仓库数据源。 从记录系统到数据仓库的映射。 * * 数据仓库的技术要求： 2. 数据存储技术 数据的存储技术包含多介质存