数据库：第14章 数据仓库与数据挖掘.pptVIP

14.1 数据仓库 数据仓库的产生 数据管理对于高层管理人员，主要是进行决策分析，所需要数据有以下几个方面的特征： 面向主题：决策分析都是围绕一些主题而展开的 集成的：决策分析所需数据将是多种异构数据源 时变的：决策分析不但需要反映当前情况的数据，还需要历史数据 非易失的：决策分析所需的数据不需要及时更新 数据仓库定义 数据仓库是在数据库基础上产生的一种数据集合，用于数据管理中的决策分析 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，目标是支持管理决策过程 数据仓库特征 主题性：数据仓库围绕决策主题，排除对于决策无用的数据，提供特定主题的简明视图 集成性：数据仓库是将多个异种数据源集成在一起，确保命名约定，编码结构，属性度量等一致性 数据仓库特征 时变性：数据存储从历史的角度提供信息，数据仓库的关键结构应隐式或显式地包含时间元素 非易失性：数据仓库总是物理地分离存放数据，由于这种分离，数据仓库不需要事务处理，恢复和并发控制；通常数据仓库只需要进行数据的初始化、周期性的装入和联机数据访问 数据仓库的类型 企业仓库 　企业仓库收集了关于主题的所有信息，跨越整个组织，提供企业范围内的数据集成 数据集市 　包含企业范围数据的一个子集，对于特定的用户是有用的，其范围限于选定的主题 虚拟仓库 　是操作数据库上的视图集合，为了有效地处理查询，只有一些汇总视图被物化，虚拟仓库易于建立，但需要操作数据库服务器具有剩余能力 数据仓库的数据模型 数据仓库基于多维数据模型，该模型将数据看作数据立方体形式，允许以多维形式对数据建模和观察 多维数据模型由“维表”和“事实表”定义 常见的形式有：星型、雪花型以及事实星座型 数据仓库的数据模型 星型模式包含一个大事实表和一系列维表 雪花模式是星型模式的变种，区别是将某些维表规范化 事实星座模式有多个事实表共享维表 星型模式(Star Schema) 事实表：用来存储事实的度量值和各个维的码值 维 表：用来存放维的元数据(维的层次、成员类别等描述信息) 雪花模式(Snowflake Schema) 多维立方体 Cube（D1,D2,…, Dn , M1 , M2 , …, Mm ） 数据仓库中数据组织的术语 粒度：是对数据仓库中的数据综合程度高低的一个度量，粒度越小，综合程度越低，回答查询的种类越多； 粒度越高，综合程度越高，查询的效率越高 维度：是数据的某方面特性(如时间、地点、产品等)，是表达数据仓库中信息的一个基本途径，可作为标识数据的索引 数据仓库中数据组织的术语 聚合：是指在维的不同层次内移动数据，从而构成维内不同层次的数据集，使用户不仅能够在一个维度内观察数据，而且能够在维度内的不同层次上观察数据 分解与合成：是在一个维度内进一步细分数据或将数据按照另一标准组合的过程 数据仓库的数据组织结构 数据仓库的数据组织方式 基于关系的存储方式：将数据仓库的数据存储在关系型数据库的表结构中，在元数据的支持下完成数据仓库的管理功能 多维数据库存储方式：直接面向OLAP分析操作的数据组织形式，其数据组织采用多维数据结构进行存储，并有维索引及相应的元数据与其对应 数据仓库的数据组织方式 虚拟存储方式：指在数据仓库中实际上并没有具体的数据存储，数据仓库中的数据仍然存储在源数据库中，只是根据用户的多维分析需求而形成多维视图，临时在源数据库中找出并提取所需要的数据，完成多维分析 数据仓库的体系结构 数据仓库系统各部件的功能 数据仓库：是数据仓库系统的基础，源数据经过数据仓库管理系统的提取、转换与集成后以多维形式存放在数据仓库中 数据仓库管理系统：是数据仓库系统的核心，其功能是：元数据的定义与管理；数据的抽取、清理、转换和集成；数据仓库的安全、归档、备份、维护、恢复等功能。数据仓库管理系统由元数据库及元数据管理器、监控器、转换器、集成器等）几部分组成 前端可视化工具：包括查询/报表工具、OLAP工具、数据挖掘工具以及前端开发工具等 数据仓库的设计要求 对大量数据的组织和管理 支持高性能的复杂分析 对提取出来的数据进行集成 对高层决策的最终用户提供工具 数据仓库的设计步骤 高层设计 分析用户需求 定义关键性能指标 定义维度 定义类别 中层设计 定义指标实体 定义维度实体 定义详细类别实体 数据仓库的设计步骤 低层设计 确定数据的存储结构 确定数据的存储位置 确定索引策略 数据仓库生成 接口设计 数据装入 数据仓库的使用与维护 12.2 OLAP技术 联机分析处理(OLAP)的概念，最早由关系数据库系统奠基人E.F.Codd在1993年提出 用户的决策分析需要对关系数据库进行大量计算才能得到结果，而且查询结果往往不能满足决策者提出的需求 因此，E.F.Codd提出了多