Chap8 支持数据仓库技术要求.pdf

Data Warehousing and Online Analytical Processing 第八章 支持数据仓库的技术要求 Chapter 8 Technology Requirement for Data Warehousing Yunhai Tong School of Electronics Engineering and Computer Science, Peking University May 2013 支持数据仓库技术的基本需求  管理大量数据的能力  能够管理多种介质  能够轻松容易地索引和监视数据  用各种不同技术接收和传送数据的接口 Data Warehousing and Online Analytical Processing 管理大量数据  TB和PB级的数量  细节数据、粒度数据  历史数据  需要多种大数据量管理办法  通过灵活的寻址能力  通过索引  通过有效的溢出管理把不活 跃数据移入到溢出存储器  既要考虑管理大数据量的能力 和效率，还要考虑存储和处理 的代价 Data Warehousing and Online Analytical Processing 管理多种介质  仅仅在直接存取存储设备（DASD）上管 理是不够的  一个满载的数据仓库应该有多种层次的存 储设备 理由：  数据的容量不同  数据被访问概率不同  各种层次级别的存储设备的存取速度和费 用情况  主存 非常快 非常贵  扩展内存 非常快 贵  高速缓存 非常快 贵  DASD 快 适中  磁带 不快 不贵  光盘 不慢 不贵  缩微胶片 慢 便宜 Data Warehousing and Online Analytical Processing 索引/监控数据  索引技术：满足快速灵活的数据访问  支持方便的索引，如二级索引、稀疏索引 、动态索引、临时索引等。  索引的费用不能太高  监视数据：数据能被随意的监视 索引  监视的费用不能太高，过程不能过于复杂 ，可以随时运行  通过监视数据的使用情况：  考虑数据是否应该重组  考虑索引的建立是否合适 报告  考虑综合数据是否合适  根据数据的增长情况，考虑存储空间的分配 Data Warehousing and Online Analytical Processing 多种技术的接口  利用多种技术接收和传送数据  接收：操作型环境、ODS数据仓库  传送：数据仓库数据集市、DSS应用、数据挖 掘环境等  高效、方便的接口，并可以在批处理模式下运行  不同技术接口要考虑的因素  数据能否很容易地从一个DBMS传送到另一个