选择数据仓库的计算架构.pptVIP

选择数据仓库的计算架构 总述 目标 在完成这一课后,你应该能够做到以下几点: 讨论数据仓库的计算架构的需求 考虑每个硬件架构的优点 描述仓库环境需要的数据库服务器的特点 回顾用于数据仓库环境的并行结构的重要性 架构的要求 架构定义策略 获取现有的架构的设计 获取现有的能力方案 验证现有的界面 准备能力方案 准备技术的架构 验证操作系统的需求 开发恢复方案 开发安全和控制方案 创建架构 创建技术风险评估 硬件架构 包括以下方面 新技术 旧技术 网络 硬件体系结构 健壮的 可用的 可靠的 可扩展的 可升级的 可支持的 可恢复的 并行的 硬件架构 SMP（对称多处理） Cluster（集群） MPP（大规模并行处理） NUMA（非一致内存访问） 混合网络使用 SMP 和MPP 评估标准 决定你所需要的平台 并行处理 并行日常操作 共享资源 内存 磁盘 无，（什么都没有） 松耦合还是紧耦合 做出正确的选择 不同操作系统的需求 基准 从供应商处可以买得到的 开发自己的 使用基于事实的查询 重要的可扩展性 SMP（对称多处理） 通过共享存储器通信 磁盘控制器可访问所有中央处理器 已成熟的技术 SMP（对称多处理） 优点: 高并发 负荷均衡 中度的可扩展性 易于管理 局限: 内存(聚族技术有所改进) 带宽 NUMA（非一致的内存访问） 松耦合的共享存储器 NUMA （非一致内存访问） 优点: 可充分地升级,增量地加磁盘、加CPU和带宽 有比MPP更好性能 与Oracle 服务器匹配 局限: 技术较新，验证不充足 对于简单的系统管理也需要新的工具 NUMA比SMP价格更高 Clusters(集群) Clusters(集群) 共享磁盘，松耦合 专用内存 高速总线 共享资源 SMP 节点 优点: 高可用性 单一的数据库概念, 逐步地增长 局限: 可扩展性, 需要节点间同步 操作此系统的费用 MPP(大规模并行处理系统) MPP（大规模并行处理系统） 无架构共享 多节点 快速访问 各节点独占内存 各节点低成本 可升级的 n-立方体的构造 MPP 的优点 无限制的增量式增长 优越的可升级性 快速访问 各节点低成本 有益于 DSS MPP 的局限 严格的分割 高速缓存的一致性 受限制的磁盘访问 各节点的高内存成本 高管理负担 谨慎的数据安置 Windows NT 基于客户-服务器模型的体系架构 优点: 包括内在的网络服务 可扩展性 易于管理和控制 局限: 不十分安全 不能执行远程的程序 在四个处理器之外缺乏线性可扩展性 用于应用的地址空间限制于2G字节 多层的体系架构 层次的结构: 基于模块 逻辑分离 分布式结构: 两层 三层 四层(或更多) 中间件 用于集成的技术 数据库服务器的需求 健壮的 可用的 可靠的 可扩展的 可升级的 可支持的 可恢复的 并行的 并行 数据库 查询 加载 索引 排序 备份 恢复 更进一步的考虑 最优化的策略 分割的策略 概要的策略 索引技术 硬件和软件的可扩展性 可用性 管理 服务器环境 并行处理 一个大任务分解成多个小任务: 并行执行 一个或更多处理器 并行数据库 提高速度 改进的可扩展性 并行查询 在服务器的过程之中SQL代码被分离 并行加载 多路SQL 处理加速载入量 并行处理 索引 排序 备份 恢复 概要 总 结 本节讨论了以下内容: 概述了数据仓库的基本架构需求 分析了所有不同硬件架构的突出优点及局限性 实践8-1 综观 实践包括以下课题: 定义, 陈述SMP， NUMA， clusters和 MPP 的优点和局限性 定义并行性及解释它对数据仓库的重要性 查询 子查询 子查询 子查询 Feb 98 Mar 98 命令表 Jan 98 减少创建的时间 在高速缓冲存储器里有效地分配内存 从任意的节点同时执行 脱机 联机 从重做日志同时执行恢复 使用 CREATE TABLE AS SELECT语句 Schedule: Timing Topic xx minutes Lecture xx minutes Practice xx minutes Total Lesson Aim Enter lesson aim here. * * 项目管理 (方法论, 维持元数据) 定义数据仓库的 概念及术语 规划一个成功 的数据仓库 分析用户 查询需求 选择数据仓库 的计算架构 建模数据仓库 规划仓库存储 ETT(构建数据仓库) 满足业务需求 支持最终 用户存取 管理数据仓库 可测量性 易管理性 可用性 可拓展性 灵活性 完整性 用户 预算 业务 技术 VLM（虚拟可加载模块） 64位 连接的 开放的 SMP Cluster