数据仓库概念、设计和重点.pptVIP

11111111111111111111111111111 数据仓库 概念、设计及应用 提纲 1.为什么要建立数据仓库 2. 数据仓库的概念及特性 3. 数据仓库的结构 4. 数据仓库的设计 5. 数据仓库的开发过程 6. 数据仓库的典型应用 事务处理环境不适宜DSS应用的原因 事务处理和分析处理的性能特性不同 操作型处理对数据的存取操作频率高而每次操作处理的时间短； 在分析处理环境中，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。 数据集成问题 数据动态集成问题 历史数据问题 数据的综合问题 抽取程序 用抽取程序能将数据从高性能联机事务处理方式中转移出来，在需要总体分析数据时就与联机事务处理性能不发生冲突。 用抽取程序能将数据从联机事务处理范围内移出时，数据的控制方式就发生了转变。 蜘蛛网问题 体系结构设计环境的层次 数据仓库的概念 数据仓库的特性 数据仓库的结构 数据仓库设计中的几个重要概念 企业数据模型到数据仓库数据模型的转换 数据模型的规范化/反规范化 从操作型的现存系统到数据仓库中数据转换工作的难点 概念：数据周期、简要记录 数据仓库的建模 数据建模的十条戒律 ①必须回答紧迫的问题； ②必须有正确的事实表； ③将有正确的维表，描述必须按最终用户的业务术语表达； ④必须理解数据仓库所影响的公司过程或影响数据仓库的公司过程； ⑤对于事实表，应该有正确的“粒度”； ⑥根据需要存储正确长度的公司历史数据； ⑦以一种对于公司有意义的方式来集成所有必要的数据； ⑧创建必要的总结表； ⑨创建必要的索引； ⑩能够加载数据仓库数据库并使它以一种适宜的方式可用。 数据仓库的开发过程 数据模型的内容 表达数据模型的最好数据 将数据模型变为数据仓库要做的主要工作 在接口中需完成的工作 数据仓库开发成功的关键 数据仓库的应用 Data Warehouse 报告人：曹顺良 2001年11月12日 数据缺乏可信性 数据无时基 数据算法上的差异 抽取的多层次 外部数据问题 无起始的公共数据源 生产率低 根据全部数据生成企业报表 定位数据需要浏览大量文件 抽取程序很多，并且每个都是定制的，不得不克服很多技术上的障碍。 数据转化为信息的不可行性 数据没有集成化 缺乏将数据转化为信息所需的历史数据 数据操作层只保存原始数据并且服务于高性能事务处理领域； 数据仓库层存储不更新的原始数据，此外一些导出数据也在此存在； 数据的部门层几乎只存放导出数据； 在数据个体层中完成大多数启发式分析 操作层 原子/数据仓库层 部门层 个体层 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 [William H.Inmon] 与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。 面向主题 典型的主题领域：客户；产品；交易；帐目 集成的 数据提取、净化、转换、装载 非易失的 数据仓库的数据通常是一起载入和访问的，但并不进行一般意义上的数据更新 随时间的变化性 数据仓库中的时间期限要远远长于操作型系统中的时间期限（5~10年）； 数据仓库中的数据是一系列某一时刻生成的复杂的快照； 数据仓库的键码结构总是包含某时间元素。 早期细节级 当前细节级 轻度综合级 数据集市 高度综合级 元数据 操作型转换 ETL ETL（Extract/Transformation/Load）—用户从数据源抽取出所需的数据，经过数据清洗、转换,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 元数据 关于数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息。 粒度 数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。 分割 结构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。 典型的元数据包括： 数据仓库表的结构 数据仓库表的属性 数据仓库的源数据（记录系统） 从记录系统到数据仓库的映射 数据模型的规格说明 抽取日志 访问数据的公用例行程序 数据仓库设计中的几个重要概念 (续） Data Mart 数据集市 -- 小型的，面向部门或工作组级数据仓库。 Operation Data Store 操作数据存储 — ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个基本特点：面向主题的(Subject -Oriented