第10节 数据仓库.ppt

数据仓库技术与联机分析处理Data Warehouse OLAP 数据库处理的两大应用 联机事务处理（OLTP） 决策支持系统（DSS） 数据库处理的两大应用 联机事务处理（OLTP） 操作型处理，为企业的特定应用服务 是对数据库的联机的日常操作，通常是对一个或一组记录的查询和修改 人们关心的是响应时间、数据的安全性和完整性 决策支持系统（DSS） 数据库处理的两大应用 联机事务处理（OLTP） 决策支持系统（DSS） 分析型处理，用于管理人员的决策分析 经常需要访问大量的历史数据 数据仓库 + 联机分析处理 + 数据挖掘 （ DW + OLAP + DM ）→ DSS 数据仓库 是一个面向主题的、集成的、非易失的（不可修改）且随时间变化的数据集合，用来支持管理人员的决策 数据仓库的特点 面向主题 主题是在较高层次上对数据抽象 面向主题的数据组织分为两步骤 抽取主题 确定每个主题所包含的数据内容 每个主题在数据仓库中都是由一组关系表实现的 集成的 数据不可更改 随时间变化的 数据仓库的特点 —— 面向主题 数据仓库的特点 面向主题 集成的 数据仓库的数据是从原有的分散数据库数据中抽取来的 消除数据表述的不一致性（数据的清洗） 数据的综合 数据不可更改 随时间变化的 数据仓库的特点 —— 集成 数据仓库的特点 面向主题 集成的 数据不可更改 数据仓库的主要数据操作是查询、分析 不进行一般意义上的数据更新（过期数据可能被删除） 数据仓库强化查询、淡化并发控制和完整性保护等技术 随时间变化的 数据仓库的特点——数据不可更改 数据仓库的特点 面向主题 集成的 数据不可更改 随时间变化的 不断增加新的数据内容 不断删除旧的数据内容 定时综合 数据仓库中数据表的键码都包含时间项，以标明数据的历史时期 数据仓库的特点 ——随时间变化 数据仓库的结构 数据仓库的结构 数据由操作型环境（综合）导入数据仓库 数据具有不同的细节级 早期细节级（过期数据） 当前细节级 轻度综合数据级（数据集市） 高度综合数据级 数据仓库建立的过程 粒度 是指数据仓库的数据单位中保存数据的细化或综合程度的级别 粒度级越小，细节程度越高，综合程度越低，回答查询的种类越多 粒度影响数据仓库中数据量的大小 粒度问题是设计数据仓库的一个重要方面 双重粒度 在数据仓库的细节级上创建两种粒度 短期储存的低粒度（真实档案），满足细节查询 具有综合的高粒度（轻度综合），做分析 分割 是指把数据分散到各自的物理单元中去，以便能分别独立处理，提高数据处理效率 是粒度之后的第二个主要设计问题 两个层次的分割 系统层：DBMS，一种定义 应用层：开发者，多种定义 多种分割的标准 日期：最常用的 地理位置 组织单位…... 数据仓库中的数据组织形式 简单堆积 轮转综合 数据按一定的格式进行轮转的累加 简化直接 按一定的时间间隔，对数据进行提取，是操作型数据的一个快照 连续 把新的快照追加到以前的连续数据上去 数据仓库中的数据组织形式 简单堆积 每日由数据库中提取并加工的数据逐天积累堆积 数据仓库中的数据组织形式 轮转综合 数据按一定的格式进行轮转的累加 数据仓库中的数据组织形式 简单堆积与轮转综合的比较 数据仓库中的数据组织形式 简化直接 按一定的时间间隔，对数据进行提取，是操作型数据的一个快照 数据仓库中的数据组织形式 连续 把新的快照追加到以前的连续数据上去 数据仓库的数据追加 数据追加 数据仓库的数据初装完成以后，再向数据仓库输入数据的过程称为数据追加 变化数据的捕获 时标法：加标识 DELTA法：对更新作记录 前后映象法：两次快照的对比 日志法：利用DBMS的日志，需改进 数据库的体系化环境 是在一个企业或组织内部，由各面向应用的OLTP数据库及各级面向主题的数据仓库所组成的完整的数据环境 操作型环境、分析型环境 四层体系化环境 操作型环境——OLTP 全局级——数据仓库 部门级——局部仓库 个人级——个人仓库，用于启发式的分析 数据集市（Data Mart） 特定的、面向部门的小型数据仓库 是为满足用户特定需求而创建的数据仓库 是数据仓库的子集 数据库的体系化环境 数据库的体系化环境 数据仓库的开发生命周期 数据仓库的基本数据模式 星型模式(Star Schema) 事实表(fact table)，存放基本数据，相关主题的数据主体（BCNF） 维(dimension)，影响、分析主体数据的因素 量(measure)，事实表中的数据属性 维表(dimension table)，表示维的各种表 维是量的取值条件，维用外键表示 以事实表为中心，加上若干维表，组成星型数据模式 例：产品-商店-销售额 数据仓库的基本数据模式 数据仓库的基本数据模式 雪花模式(Snowflak