数据仓库和数据挖掘的OLAP.pdf

数据仓库和数据挖掘的OLAP 报告人:李皓 什么是数据仓库  数据仓库是一个面向主题的,集成的,时变 的,非易失的的数据集合. 面向主题的  数据仓库围绕一些主题,排除对于决策无 用的数据,提供特定主体的简明视图. 集成的  构造数据仓库是将多个异种数据源集成 在一起,确保命名约定,编码结构,属性度 量等一致性 时变的  数据存储从历史的角度提供信息.数据仓 库的关键结构,隐式或显式地包含时间元 素. 非易失的  数据仓库总是物理地分离存放数据; 由于 这种分离,数据仓库不需要事务处理,恢复 和并发控制.通常数据仓库只需要两种数 据访问:数据的初始化装入和数据访问. 操作数据库与数据仓库的区别  操作数据库系统的主要任务是联机事务 处理OLTP  数据仓库在数据分析和决策方面为用户 提供服务,这种系统称为联机分析处理 OLAP OLTP和OLAP 的区别  用户和系统的面向性: OLTP是面向顾客的,用于事务和查询处理 OLAP是面向市场的,用于数据分析  数据内容: OLTP系统管理当前数据. OLAP系统管理大量历史数据,提供汇总和 聚集机制.  数据库设计: OLTP采用实体-联系ER模型和面向应用的 数据库设计. OLAP采用星型或雪花模型和面向主题的数 据库设计.  视图: OLTP主要关注一个企业或部门内部的当前 数据,不涉及历史数据或不同组织的数据 OLAP则相反.  访问模式: OLTP系统的访问主要由短的原子事务组成. 这种系统需要并行和恢复机制. OLAP系统的访问大部分是只读操作. 为什么需要分离的数据仓库  分离操作数据库系统和数据仓库的主要 原因是提高两个系统的性能.操作数据库 系统是为已知的任务和负载设计的,而数 据仓库的查询通常是复杂的,涉及大量数 据在汇总级的计算,在操作数据库系统上 处理OLAP查询,可能会大大降低操作任 务的性能. 多维数据模型  数据仓库和OLAP工具基于多维数据模 型,该模型将数据看作数据立方体形式  数据立方体允许以多维对数据建模和观 察.具体图形详见31-33页 多维数据库模式 星型,雪花和事实星座模式是主要的存在形 式  星型模式包含一个大的包含大批数据的 事实表和一系列维表.如33页图2-4  雪花模式是星型模式的变种,不同的是将 某些维表规范化.如34页图2-5  事实星座模式对应多个事实表共享维表. 如35页图2-6 定义模式的例子 定义图2-4 的星型模式:  定义立方体: Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*)  定义维 Define dimension time as (time_key,day,day_of_week,month,quarter, year) 度量的分类和计算  分布的: 设数据被划分为n个集合,函数在每一部 分上的计算得到一个聚集值.如果将函数 用于n个聚集值得到的结果,与将函数用 于所有数据得到的结果一样则该度量是 分布的,如count(),sum()等  代数的: 如果一个聚集函数能够由一个具有M个 参数的代数函数计算,且每个参数都可以 用一个分布聚集函数求得.如avg()可以由 sum()/count()计算,其中sum()和count()是