T4：淘 宝私有云 for QCon最终.pdf

T4:淘宝私有云 林昊 2012-10 Agenda ● 起源 ● 实现方案 ● 碰到的问题 ● 使用状况 ● 美好的将来 起源 ● 2010年引入虚拟化，1台物理机装3个虚拟 机，一定程度降低了成本； ● 机器规模增长非常快，其中1/3的虚拟机的 peak load 0.5； ● 做一个产品来提升机器的资源利用率。 起源 ● 为什么叫T4 ○ Taobao的架构体系发展 ■ 1.0: php ■ 2.0: 集中式Java ■ 3.0: 大规模分布式Java ○ 这个产品将再次改变淘宝的运行体系，因此命名 为：Taobao 4.0，缩写：T4。 实现方案 ● T4的目标 ○ 在保障系统稳定性的情况下降低运维成本; ○ 实现平滑迁移。 实现方案 ● 运维成本不够低的主要原因 ○ 单台物理机上跑的应用不够多； ○ 分给应用的机型以及机器数是静态的； ○ 集群的资源利用率不均衡。 实现方案 ● 单台物理机上跑更多的应用； ○ 超配； ■ 支持资源可共享； ■ 支持共享的资源的动态调整。 ○ 部署的应用的合理搭配； ■ 资源消耗多的和少的搭配； ■ 消耗的资源不同的互补。 实现方案 ● 分配应用的机型以及机器数需要是动态的 ○ 根据应用的资源利用率动态调整； ■ 机型需要支持动态调整； ■ 机器数要动态的要求是应用新上线机器和下线 机器的动作需要全自动化。 ● 集群的资源利用率做到均衡 ○ 根据集群各机器的资源利用率状况动态迁移应用； 实现方案 ● 总结 ○ 动态 ■ 单机资源的搭配以及数量可动态调整； ● 需要一个可很好支持此需求的虚拟化方案； ■ 动态迁移应用保障单机应用搭配的合理性以及 集群资源利用率的均衡。 ● 强大的监控； ● 资源管理系统； ● 应用上下线的全自动化。 ○ 弹性 ■ 根据应用的资源消耗状况动态调整机型以及机 器数。 ● 强大的监控； ● 资源管理系统； ● 依赖动态特性。 实现方案 ● 虚拟化方案 ○ 需要支持动态搭配以及数量的调整； ○ 内部应用的特征 ■ Share Nothing，集群化； ■ 统一的OS； ■ 安全级别要求不是很高； ○ 选择了LXC（Linux Container） ■ namespace ■ cgroup ■ 创建出的每个container我们称为instance； 实现方案 ● 虚拟化方案 ○ 自行实现了单机cpu搭配的动态调整； ○ 进行了一定的封装，实现了通过界面来调整 instance的机型。 实现方案 ● 强大的监控 ○ 现成的； ○ 需要做的是无缝集成； ● 应用上下线的全自动化 ○ 内部已有多套负责各种功能的运维系统； ○ 需要做的是无缝集成。 实现