amazon redshift 最佳实践.pdfVIP

Amazon Redshift 最佳实践 基于SQL的列式数据仓库管理系统 韩思捷，AWS技术支持经理 Sijie Han, Technical Account Manager, Amazon Web Services AWS中国（北京）区域由光环新网运营 此在线研讨会的学习内容 • Amazon Redshift服务概述 • 客户示例 • 迁移到Amazon Redshift的最佳实践 • Amazon Redshift schema设计的最佳实践 • Amazon Redshift数据加载的最佳实践 • Amazon Redshift性能调优的最佳实践 • Q A AWS中国（北京）区域由光环新网运营 Amazon Redshift 服务概述 AWS中国（北京）区域由光环新网运营 快速 简单 便宜 关系型数据仓库 大规模并行处理; 基于PB级的扩容 Amazon 完全托管 Redshift 包含HDD和SSD两种平台 每年$1,000/TB; 从$0.25/小时开始计费 AWS中国（北京）区域由光环新网运营 使用Amazon Redshift 的部分客户清单 AWS中国（北京）区域由光环新网运营 Amazon Redshift 的系统架构 主节点 • 执行SQL语句的入口 JDBC/ODBC • 存放元数据 • 协调查询语句的执行 计算节点 • 基于本地以及列式存储 • 并行执行查询 10 GigE (HPC) • 通过Amazon S3加载，备份和恢复数据；从 Amazon DynamoDB ，Amazon EMR或者SSH 进行数据加载。 两种硬件平台 • 针对数据处理进行了优化 Ingestion Backup • DS2: HDD; 可以从2 TB扩展到2 PB Restore • DC1: SSD; 可以从160 GB扩展到326 TB AWS中国（北京）区域由光环新网运营 计算节点架构 每个节点包含多个分片 • DS2 – XL上有2个分片, 8 XL上有16个 分片 • DC1 – L上有2个分片, 8 XL上有32个分 片 Leader Node 每个分片都会分配CPU并管理表数据 每个分片并行的处理部分工作负载 AWS中国（北京）区域由光环新网运营 Amazon Redshift 极大的减少了I/O ID Age State Amount