数据仓库理论学习笔记.pptVIP

数据仓库的基本数据模式 雪花模式(Snowflake Schema) 维一般是由若干层次组成 把维按其层次结构表示成若干个表 规范化、节省存储空间 但需多做连接操作 数据仓库的解决方案 通用的关系数据库系统 专门的数据仓库服务器 数据仓库系统的体系结构 数据仓库层 数据仓库工具层 最终用户 数据仓库系统 数据仓库 居系统的核心地位 是信息挖掘的基础 数据仓库管理系统 是整个系统的引擎 负责管理整个系统的运转 数据仓库工具 一般的查询工具、功能强大的分析工具 是整个系统发挥作用的关键 数据仓库系统 一个集成化的产品集 数据仓库系统 Design Warehouse Architect Manage Sybase ASIQ Integrate Informatica Enterprise Connect Replication Server PowerMart Visualize Brio Cognos Administer Warehouse Control Center Warehouse Control Centre 数据分析模型 早期 静态数据值的相互比较 需求 从多个不同的数据源中综合数据 从不同的角度观察数据 多变的主题、多维数据 E-R不能完全支持 四种分析模型（Codd） 绝对模型 静态数据分析 只能对历史数据进行值的比较，描述基本事实 用户交互少 解释模型 思考模型 公式模型 四种分析模型（Codd） 绝对模型 解释模型 静态数据分析 在当前多维视图的基础上找出事件发生的原因 思考模型 公式模型 四种分析模型（Codd） 绝对模型 解释模型 思考模型 动态数据分析 多维分析 在决策者的参与下，找出关键变量 需要高级数据分析人员的介入 公式模型 四种分析模型（Codd） 绝对模型 解释模型 思考模型 公式模型 动态性最高的一类 自动完成变量的引入工作 数据仓库系统的工具层 查询工具 主要是对分析结果的查询 很少有对记录级数据的查询 验证型工具 多维分析工具 用户首先提出假设，然后利用各种工具通过反复、递归的检索查询以验证或否定假设 发掘型工具 从大量数据中发现数据模式 预测趋势和行为 联机分析处理——OLAP 是针对特定问题的联机访问和分析。 通过对信息的很多种可能的观察形式进行快速、稳定一致和交互性的存取，允许分析人员对数据进行深入观察 一些概念 变量是数据的实际意义，描述数据是什么 维是人们观察数据的特定角度 维的层次是维在不同细节程度的描述 维成员是维的一个取值 多层次维的维成员是各层次取值的组合 对应一个数据项，维成员是该数据项在该维中位置的描述 多维数组可以表示为（维1,维2,……,变量），如（地区,时间,销售渠道,销售额） 多维数组的取值称为数据单元（单元格） 可以理解为交叉表的数据格 一些基本操作 在多维数组的某一维选定一个维成员的动作称为切片。 舍弃一些观察角度 在多维数组的某一维上选定某一区间的维成员切块 多个切片的叠加 旋转是改变一个报告或页面显示的维方向 以用户容易理解的角度来观察数据 基于多维数据库的OLAP——MOLAP 以多维方式组织数据（综合数据） 以多维方式显示（观察）数据 多维数据库的形式类似于交叉表，可直观地表述一对多、多对多的关系 如：产品、地区、销售额 关系 多维 多维数据库由许多经压缩的、类似于数组的对象构成，带有高度压缩的索引及指针结构 以关系数据库存放细节数据、以多维数据库存放综合数据 基于关系数据库的OLAP——ROLAP 以二维表与多维联系来表达多维数据（综合数据） 星型结构 事实表，存储事实的量及各维的码值（BCNF） 维表，对每一个维，至少有一个表用来保存该维的元数据（多层次、冗余） 事实表通过外键与每个维表相联系 雪花、星座、雪暴 模拟多维方式显示（观察）数据 MOLAP与ROLAP MOLAP 计算速度较快 支持的数据容量较小 缺乏细节数据的OLAP ROLAP 结构较复杂 以关系模拟多维 支持适当细节的OLAP 较成熟 HOLAP是以上两种的综合 桌面级工具 BrioQuery (ROLAP) Business Objects (ROLAP) Cognos Impromptu (ROLAP) Cognos PowerPlay (MOLAP) 服务器级OLAP Arbor Software Essbase (MOLAP) MicroStrategy DSS Agent (ROLAP ) Oracle’s Express (hybrid MOLAP/ROLAP) SQL3对聚集的扩展(在Group By中扩展) SP(S#,P#,QTY) S# P# QTY S1 P1 300 S1 P2 200 S2 P1 300 S2 P2 400 S3 P2