我看分布式系统架构设计和阿里实践.pdf

我看分布式系统架构设计 和阿里实践 林伟 阿里云大数据计算平台资深架构师 自我介绍 • 2002-2005 ：CPU设计和操作系统 • 2005-2009 ：分布式协议开发，存储 系统的开发 • 2009-2015 ：BingCosmosScope • 2015-至今： 阿里巴巴计算平台 分布式系统发展 并行单元 互联 晶体管 导线 运算单元 集成电路 多Core 高速总线 多CPU 订制网络 多机 商用网络 分布式系统设计中的变与不变 • 资源特性 • 二八原则 • 系统繁简变换 • 一致性协议 • … MaxCompute • 大数据计算服务(MaxCompute)是一种快速、完全托管的 PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地 域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万 级作业规模。 • MaxCompute向用户提供了完善的数据导入方案以及多种经典 的分布式计算模型，能够更快速的解决用户海量数据计算问 题，有效降低企业成本，并保障数据安全。 MaxCompute性能 2X 377s Hadoop 100TB EB 8000+ 性能 sort 存储 开发者 40000+ 机器 单机群上万 1/3 $$ 1M+ 日任务 Amazon 1M+ EMR 1500+ 表 项目 MaxCompute架构 应用生态 Spark API Beam API Hive API … MaxCompute Language 流计算 图计算 Batch 内存计算 机器学习 MaxCompute Engine 伏羲 （分布式调度系统） 盘古（分布式存储系