第2章 数仓库的数据存储与处理.ppt

数据仓库与数据挖掘 第2章 数据仓库的数据存储与处理 2.1 数据仓库的数据结构 2.2 数据仓库的数据特征 状态数据与事件数据 当前数据与周期数据 数据仓库中的元数据 2.3 数据仓库的数据ETL过程 ETL概念 ETL过程前后数据的特征 数据的ETL过程描述 抽取（Capture/Extract） 清洗（Scrub/Cleanse） 转换（Transform） 加载和索引（Load/Index） ETL的概念： 数据ETL是用来实现异构数据源的数据集成，即完成数据的抓取/抽取（Capture/Extract）、清洗（Scrub or data cleansing）、转换（Transform）、装载与索引（Load and Index）等数据调和工作。 数据的ETL过程描述： 数据ETL过程的实施要点： ETL过程是一个数据流动的过程，中间的“T”（转换）是关键 ； ETL工具的选择非常重要，运用合适的工具会事半功倍 ； 如何保证数据质量？数据质量在一定程度上决定了数据仓库的价值 。 2.4 多维数据模型和星模式 多维数据模型及其相关概念 多维数据模型的物理实现 多维建模技术简介 一个星模式的例子 多维数据模型及其相关概念 有关多维数据模型的几个概念：维、维类别、维属性、度量、粒度及分割等 关于数据综合级别与粒度的确定:一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、高度综合级 多维数据模型的物理实现 多维数据库（MDDB）,其数据是存储在大量的多维数组中，而不是关系表中 ,与之相对应的是多维联机分析处理（MOLAP） 关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关系联机分析处理（ROLAP） 多维建模技术简介 两种主流建模技术 :由Inmon提出的企业级数据仓库模型和由Kimball提出的多维模型 ； 基于关系数据库的多维数据建模，如星型,雪花和事实星座模式； 关于事实表、维表及键的设计 一个星型模式的例子 将数据的多维结构划分为两类表： 事实表 维度表 按照两种结构设计： 星型模型 雪花模型 关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关系联机分析处理（ROLAP） 产品ID 时间ID 销售商ID 地址ID 产品ID 销售商ID 地址ID 时间ID 销售数量 销售成本 总收入 销售商维度表 地理位置维表 时间维表 产品维表 1.星型模式在关系数据库中的表示 2.雪花模式在关系数据库中的表示 产品维表 产品ID 时间ID 销售商ID 地址ID 图5.9 雪花模式的关系数据库表示 地理位置维表 时间维表 产品ID 产品名称 公司ID 公司名称 产品颜色ID 产品颜色 产品商标ID 商标名称 产品类型ID 产品类型名 销售商维度表 产品ID 销售商ID 地址ID 时间ID 销售数量 销售成本 总收入 产品ID 公司ID 产品颜色ID 产品商标ID 产品类型ID * * 数据存储与数据处理是数据仓库系统实施的三个关键环节中的中心环节。 数据存储结构设计和数据处理技术的研究在数据仓库理论中占有重要地位。 第2章 数据仓库的数据存储 与处理 三层数据结构 2.1 数据仓库的数据结构 各个组成部分的含义： 操作性数据 ：来源于业务系统中的数据。 调和数据：存储在企业级数据仓库中的数据。 导出数据：从数据仓库中导出并存储在各个数据集市中的数据。 企业数据模型：企业组织所需数据的整体轮廓。 元数据 ：有关数据的说明。 状态数据与事件数据： 状态数据：描述对象状态的数据。 事件数据：描述对象发生的事件的数据。 数据库和数据仓库中存储的基本数据类型是状态数据。 但是数据仓库中往往还存储事务或事件数据的汇总。 当前数据与周期数据