数据仓库系统结构模型.ppt

目录 ? Inmon数据仓库设计 ? ? 体系结构化环境 三级模型 ? ? ? 高级模型 中级模型 低级模型 ? 性能优化 低级模型 ? ? ? 底层模型是逻辑模型在数据仓库中的具体实现，如物 理存取方式、数据存储结构、数据存储位置、存储分 配等。 低级模型具体表现为一系列的关系表。 低级模型设计所要考虑的主要因素有 ? ? I/O存取时间、空间利用率和维护代价 数据仓库性能优化，如合并表、引入冗余等技术 讨论：DIS能直接实现吗？ ? ? ? ? Inmon的设计模型没有探讨DIS是如何过渡到低级模 型的，中间似乎缺了一个重要的环节。 这个环节是：关系表。 关系表在原设计模型中没有深入讨论，遗憾！DIS仍 然处于概念模型阶段，无非是细化了，低级模型则直 接实现了，关系表在哪里设计的？缺憾！应该放在中 间模型比较合适。 补充：DIS 到 关系表 的映射，参考ER模型到关系 模型的转化。有了关系表，具体实现（低级模型）就 没有问题。 了解：低级模型-存储结构 ? 分布式存储 ? ? 采用磁盘阵列在多个节点间以分布的方式来存储数据 物理上是分布的，但是逻辑上是统一的 ? 集中式存储 ? ? ? 将现有SAN（存储局域网）或者NAS（网络连接存储）作为 服务器的存储部分 直接通过FC交换机来直接访问所有的数据而不需要通过其他 节点 可以将节点从数据存储管理的负担中解脱出来，实现数据处 理和数据存储的分离。 分布式存储 集中式存储 RAID思想 ? RAID: Redundant Arrays of Inexpensive Disks （冗余 廉价磁 盘阵列 ） ? 多盘联合， 统一对外 ，高速 高容量， 高可靠性 ? high capacity high speed high reliability ? ? 生活中的RAID， “三个臭皮匠抵上一个诸葛亮”，雇佣 三个 臭皮匠 还是雇佣 诸葛亮？三个臭皮匠的成本要低 拦截导弹 A型 命中率0.7 ，100万美元 B型 命中率0.9 ，1000万美元 ? ? ? 用两个A型，至少一个命中的概率 1-（1-0.7)2= 0.91 用3个A型，至少一个命中的概率 1-（1-0.7)3= 0.97 可用机关炮打巡航导弹（合算），用多个低价盘代高价盘 ? ? 思想：冗余 提高可靠性，并行提高速度 后面的推理基于一个假定： 两个廉价磁盘 在同一个修复时 间（几小时）内同时发生故障的概率 很低。 数据拆分 ? ? ? 这么多冗余磁盘，怎么存储数据？数据拆分 块拆分 逻辑第 I 块 放到（I mod N)+1号磁盘上，排排 坐 位拆分 当块的大小为1bit时，称为 Bit-Level Striping 位拆分（比特级拆分），将字节按bit拆分，存储到多 个磁盘上（如分到8个磁盘上），这样多个磁盘就形 成一个逻辑上磁盘。读取的数据量成倍放大，（如每 次访问读取一个磁盘的8倍数据量，I/O一次(并行)， 数据量8倍，可观!） RAID ? RAID磁盘阵列 ? ? ? ? 廉价冗余磁盘阵列是一种采用多磁盘驱动器来存储数据的数 据存储系统 分为6个级别：RAID0、1、2、3、4、5及RAID0+1,2、3、4 使用频率较低，5、0、1、0+1使用较多。 在 RAID 的各个级别中，RAID 1 和 RAID 0+1 提供最佳的 数据保护和最佳性能，但是就所需的磁盘而言会需要更多的 成本。当硬盘成本不是限制因素时，就兼顾性能和容错而 言，RAID 1 或 RAID 0+1 是最佳选择。 RAID 5 的成本比 RAID 1 或 RAID 0+1 低，但是它提供的容 错和写入性能较差。RAID 5 的写入性能大约只是 RAID 1 或 RAID 0+1 的一半，这是因为 RAID 5 读取和写入奇偶校验 信息需要额外的 I/O。 RAID 0 ? ? 块级拆分，无冗余，多盘并发 （实用中， 只用Level 1和5） 因为该级别使用名为条带集的磁盘文件系统，所以又将它称作 磁盘条带。数据被划分成多个块并按固定顺序分布到阵列中的 所有磁盘上。RAID 0将多个操作分布到多个磁盘上，以便可以 同时独立地执行这些操作，从而改善了读取/写入性能。RAID 0类似于 RAID 5，但是 RAID 5 还提供容错功能。 RAID 1-写双份，读一份 ? 因为该级别使用名为镜像集的磁盘文件系统，所以又 将它称作磁盘镜像。磁盘镜像可提供一个与所选磁盘 完全相同的冗余副本。写