构建云计算平台的实践.pdf

构建大型云计算平台的实践 章文嵩（正明） CNCC2014 ·郑州 2014.10.25 1 自我介绍 • 章文嵩（正明）博士 • 阿里高级研究员、核 心系统负责人 • LVS开源项目的创始 人与主要作者 • 曾为TelTel的首席科学 家与联合创始人，国 防科技大学副教授、 ChinaCluster的联合 创始人、Red Hat Kernel Developer 议程 一、云计算的挑战与需求 二、ECS的分布式存储设计 三、SLB、RDS与OCS的设计 四、全链路监控与分析系统 五、未来工作展望 3 云计算的挑战与需求 •云计算的挑战 –淘宝天猫应用需求vs 中小网站需求 –客户把他们关键的IT系统托付在云平台上 •对云计算平台的需求 –高可靠性 –高性能 –快速定位问题 –安全 –低成本 4 议程 一、云计算的挑战与需求 二、ECS的分布式存储设计 三、SLB、RDS与OCS的设计 四、全链路监控与分析系统 五、未来工作展望 5 云服务器ECS •分布式文件存储 •快照制作 •快照回滚 •自定义image •故障迁移 •在线迁移 •网络组隔离 •防ARP欺骗 •自定义防火墙功能 •支持防DDos攻击 •提供流量清洗服务 •动态升级 存储系统设计 •为确保数据的高可靠性，实现2-3异步 •过去的问题 –对于任何写，都写入到Chunk Server才算成功，路径 长，延时大。实现复杂开销大等。 •优化思路 –SSD/SATA混合存储，randwrite-4K- 128可达5500 IOPS左右 –引入Cache机制，同时实现一样的数据可靠性 –多线程事件驱动架构重构TDC和Chunk Server的实现 ，让一个IO请求在一个线程完成所有工作，避免锁和 上下文切换 7 IO路径上的各层cache •应用程序的user cache –mysql buffer pool •操作系统的缓存 –linux page cache •存储系统的cache –磁盘的缓存 写IO的几种模式– buffer write 用户程序 write Page cache 操作系统 操作系统writeback Cache 存储介质 写IO的几种模式