银行ODS系统介绍.ppt

* ? 2006 Capgemini - All rights reserved * * ? 2006 Capgemini - All rights reserved * * * * * ? 2006 Capgemini - All rights reserved * * ? 2006 Capgemini - All rights reserved * * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * 元数据管理的支持 ODS数据来源的多样性－创造数据的生产系统（CCBS等），加工数据的后台系统（DW等） * ? 2006 Capgemini - All rights reserved * * ? 2006 Capgemini - All rights reserved * * ? 2006 Capgemini - All rights reserved * Master Segment Segment Segment Segment … Master Master Node 建立与客户端的连接和管理 SQL的解析并形成执行计划 执行计划向Segment的分发 收集Segment的执行结果 Master不存储应用业务数据，只存储数据字典 Segment Node 业务数据的存储和存取 用户查询SQL的执行 Master and Segment Node 并行处理的关键 Order Order Order Date Customer ID 数据均匀分布在每一块磁盘上面 发挥每一块磁盘性能，根本上解决I/O瓶颈 支持数据Distribution分布和Partition分区 数据均匀分布 Standby Master Node 当Primary Master出现故障时，热备份Standby Master 担它全部工作 热备份Standby Master 通过复制进程，保持与Primary Master的交易日志同步一致 Master Node 高可用性 Mirror Technology RAID保护驱动器故障，Mirror Segment保护服务器故障，同一份数据在集群内有4份copy Mirror Segment接管不丢失服务，快速在线差异恢复 Segment Node 高可用性 MPP Scatter/Gather 业界最快加载速度 业界最快的加载速度10TB/Hr 基于MPP Scatter/Gather流技术的高性能并行加载和导出功能 加载速度随着节点线性增加，加载速度随着ETL Server线性增加 并行加载和导出 资源随需定制 负载管理技术 大幅提高I/O性能 A B C 1 A1 B1 C1 2 A2 B2 C2 3 A3 B3 C3 4 A4 B4 C4 5 A5 B5 C5 6 A6 B6 C6 什么是列存储？ 传统数据库将所有记录中的每一行数据聚合存储，而列存储将每条记录的每一列字段数据聚合存储 Sysbase IQ以列存储为主要卖点，现在被包容进Greenplum 列存储的好处 每个字段聚合存储，试想50个字段的表，取其中3个字段，行存储需要每个读一次，列存储只需要读3次，大幅节省I/O操作 适合于OLAP应用，大数据量频繁访问，性能提升30%以上 列存储技术 多维压缩方式 数据压缩的好处 显著地减少占用的磁盘空间，降低存储成本 磁盘I/O速度与CPU和内存有很大差距，利用CPU和内存的闲置资源还原数据，大幅提高磁盘I/O性能 Partition定义多维压缩方式和压缩比 数据压缩技术 Master seg1 seg2 seg3 seg4 seg5 seg6 interconnect 系统永不停机 容量和性能在扩展后线性增长 数据自动在所有节点上重新分布 动态在线扩容技术 Performance Monitor 互动的基于Web的性能监控工具 支持实时和历史视图，问题回溯 实时资源利用情况 实时SQL执行情况 问题和查询内部细节 实时运行性能监控器 SUN HP IBM ORACLE DB2 EMC Hitachi 支持各种 数据源 抽取、转换、加载 (ETL) Informatica Da