UNITfour数据仓库技术.ppt

数据仓库中的 元数据 数据仓库中的元数据 数据仓库中的元数据包括两大部分： 有关集成的信息 数据仓库字典 数据仓库中的元数据 数据仓库中元数据特点 服务于DSS专业人员,而不仅仅是IT人员 UNITfour 数据仓库技术 学完本讲后，你应该能够了解： 数据仓库中没有联机更新,因而数据仓库比数据库需要一系列更简单的技术;但数据仓库有很多特殊的技术上的需求; 数据仓库的专用DBMS与通用DBMS的区别; 多维DBMS和数据仓库之间的互补关系; 数据仓库环境中的元数据与操作型环境中的元数据所扮演的角色不同; 为了理解和解释一段时期内的信息,数据仓库需要一个全新的上下文维 数据仓库的高效刷新方法:”数据复制”和”变化数据捕捉” 本 讲 主 要 目 标 一．数据仓库的技术需求 二．数据仓库专用DBMS 三．多维DBMS和数据仓库 四．数据仓库环境中的元数据 五．上下文维和上下文信息 六. 建立数据仓库 七. 数据仓库的数据刷新 内容提纲 数据仓库的 技术需求 数据仓库的技术需求 数据仓库与数据库技术需求不同的原因: 数据仓库中没有联机数据更新 比数据库的技术需求更简单 数据仓库中的数据量非常大 要考虑大量和不同数据的存储和查询的技术和效率 数据仓库的数据来源于现有的系统,而现有的各个系统可能使用不同的技术 不同来源数据的集成、转换和传送 数据仓库的技术需求 数据仓库的技术需求 管理大量数据 管理各种各样介质上的数据 方便的索引和监视数据 大量接口技术 允许程序员将数据直接放在物理存储设备上 数据的并行存储和访问 数据仓库的元数据控制 高效地装入数据仓库 有效地使用索引 以压缩方式存储数据 支持复合键码 有效地管理变长数据 有选择地关闭锁管理 单独索引处理 从大容量存储器迅速恢复 数据仓库的技术需求 管理大量数据 分四个方面 基本的管理技术 效率 存储的费用 处理的费用 数据仓库的技术需求 管理各种各样介质上的数据 考虑访问速度和存储费用,一个满载的数据仓库应该放在多种存储介质上: 数据仓库的技术需求 方便的索引和监视数据 成功的数据仓库必须能方便和有效地检索数据 成功的数据仓库的数据必须能被随意地监视 监视数据仓库的数据的理由: 决定是否应数据重组 决定索引是否建立得恰当 决定是否有太多数据溢出 决定数据的统计成分 决定剩余的可用空间 数据仓库的技术需求 大量接口技术 能够用各种不同的技术获得和传送数据 接口不仅要高效,还要便于使用 能够在批模式下运行 数据仓库的技术需求 允许程序员将数据直接放在物理存储设备上 为了对数据进行高效地访问和更新,程序员需要在物理的块/页的一级上对数据的存放进行特殊的控制 数据仓库的技术需求 数据的并行存储和访问 当数据被并行存储和管理时,性能会提高很多 数据仓库的技术需求 数据仓库的元数据控制 数据仓库的用户应该能够对元数据进行准确和实时的访问 典型的元数据 数据仓库表的结构 数据仓库表的属性 数据仓库的源数据(记录系统) 从记录系统到数据仓库的映射 数据模型的规格说明 抽取日志 访问数据的公用例行程序 数据仓库的技术需求 数据仓库要有多种语言接口 数据仓库需要有非常丰富的语言接口 数据仓库接口语言需要 能够一次访问一组数据 能够一次访问一条记录 特别要保证,为了满足某个访问要求,能够支持一个或多个索引 能够插入、删除、更新数据 数据仓库的技术需求 高效地装入数据仓库 在装入数据的同时,索引也要高效地装入 数据仓库的技术需求 有效地使用索引 数据仓库技术不仅必须能够方便地支持新索引的创建和装入,而且要能够高效地访问这些索引 高效访问索引的方法 位映象的方法 多级索引 将部分或全部索引装入内存 当被索引的数据的次序允许压缩时,对索引项进行压缩 创建选择索引或范围索引 数据仓库的技术需求 以压缩方式存储数据 数据仓库中的数据很少更新,数据压缩的管理很简单 解压缩的开销是CPU开销,不是I/O资源的开销 数据仓库的技术需求 支持复合键码 复合键码在数据仓库中随处可见 数据仓库的技术需求 有效地管理变长数据 在数据仓库中,变长数据很稳定,没有数据库中变长数据的固有性能问题 数据仓库的技术需求 有选择地关闭锁管理 应用加锁管理程序的后果之一是它消耗了相当的资源,即使数据不被更新也是一样 数据仓库的技术需求 单独索引处理 当只通过查看一下索引就可以满足某些请求时,由于用不着查看数据的最初数据源而会更加有效 数据仓库的技术需求 从大容量存储器迅速恢复 指能够从非直接存取存储设备快速地恢复数据仓库表.当可以从二级存储设备上恢复时,就可以节约大量开支 数据仓库专用 DBMS 数