数据仓库和数据挖掘的OLAP.ppt

数据仓库和数据挖掘的OLAP 报告人:李皓 什么是数据仓库 数据仓库是一个面向主题的,集成的,时变的,非易失的的数据集合. 面向主题的 数据仓库围绕一些主题,排除对于决策无用的数据,提供特定主体的简明视图. 集成的 构造数据仓库是将多个异种数据源集成在一起,确保命名约定,编码结构,属性度量等一致性 时变的 数据存储从历史的角度提供信息.数据仓库的关键结构,隐式或显式地包含时间元素. 非易失的 数据仓库总是物理地分离存放数据;由于这种分离,数据仓库不需要事务处理,恢复和并发控制.通常数据仓库只需要两种数据访问:数据的初始化装入和数据访问. 操作数据库与数据仓库的区别 操作数据库系统的主要任务是联机事务处理OLTP 数据仓库在数据分析和决策方面为用户提供服务,这种系统称为联机分析处理OLAP OLTP和OLAP的区别 用户和系统的面向性: OLTP是面向顾客的,用于事务和查询处理 OLAP是面向市场的,用于数据分析 数据内容: OLTP系统管理当前数据. OLAP系统管理大量历史数据,提供汇总和 聚集机制. 数据库设计: OLTP采用实体-联系ER模型和面向应用的 数据库设计. OLAP采用星型或雪花模型和面向主题的数 据库设计. 视图: OLTP主要关注一个企业或部门内部的当前 数据,不涉及历史数据或不同组织的数据 OLAP则相反. 访问模式: OLTP系统的访问主要由短的原子事务组成. 这种系统需要并行和恢复机制. OLAP系统的访问大部分是只读操作. 为什么需要分离的数据仓库 分离操作数据库系统和数据仓库的主要 原因是提高两个系统的性能.操作数据库系统是为已知的任务和负载设计的,而数据仓库的查询通常是复杂的,涉及大量数据在汇总级的计算,在操作数据库系统上处理OLAP查询,可能会大大降低操作任务的性能. 多维数据模型 数据仓库和OLAP工具基于多维数据模型,该模型将数据看作数据立方体形式 数据立方体允许以多维对数据建模和观察.具体图形详见31-33页 多维数据库模式 星型,雪花和事实星座模式是主要的存在形式 星型模式包含一个大的包含大批数据的事实表和一系列维表.如33页图2-4 雪花模式是星型模式的变种,不同的是将某些维表规范化.如34页图2-5 事实星座模式对应多个事实表共享维表.如35页图2-6 定义模式的例子 定义图2-4的星型模式: 定义立方体: Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*) 定义维 Define dimension time as (time_key,day,day_of_week,month,quarter,year) 度量的分类和计算 分布的: 设数据被划分为n个集合,函数在每一部分上的计算得到一个聚集值.如果将函数用于n个聚集值得到的结果,与将函数用于所有数据得到的结果一样则该度量是分布的,如count(),sum()等 代数的: 如果一个聚集函数能够由一个具有M个参数的代数函数计算,且每个参数都可以用一个分布聚集函数求得.如avg()可以由sum()/count()计算,其中sum()和count()是分布聚集函数. 整体的: 如果一个聚集函数无法用具有M个参数的代数函数进行这一计算,则这个函数称是整体的,如rand()等 许多度量可以用关系的聚集操作计算 对应图2-4,我们也可写出SQL语句. 计算dollars_sold和units_sold Select sum(s.number_of_units_sold*s.price) Sum(s.number_of_units_sold) From time t,item i,branch b,location l,sales s, Where s.time_key=t.time_key and s.item_key=i.item_key and s.branch_key=b.branch_key and s.loation_key=l.location_key Group by s.time_key,s.item_key,s.branch_key,s.location_key 概念分层 全序相关 偏序相关(具体见3,4章) Country year City quarter