3-腾讯集群资源管理.pdfVIP

腾讯集群资源管理 陈军 （junche@ ） 腾讯 提纲 • 腾讯海量业务面对的挑战 • 集群任务调度 • 无阻塞网络 腾讯海量业务的挑战 • 业务类型多 • 在线业务，离线业务 • 不同业务可错峰，提高资源利用率 • 业务规模大 • 互联网海量业务，高并发，海量数据处理 • 业务突发性强 • 要求能够快速扩容，快速资源回收 过去 • 每个业务都有自己的专用集群 • 没有资源共享，资源利用率低 • 集群资源缺乏弹性，业务高峰期资源不足，业务衰退期资 源过剩 • 很多小集群，资源碎片化 • 自动容错能力不足 现在和未来 • 建大资源池，不同业务共享集群资源 • 提高资源利用率 • 通过调度及运行环境的QoS，保证服务质量 • 自动容错 集群任务调度系统 • 集群内任务调度 • 任务与资源的匹配，提高资源利用率 • 监控任务执行，实现自动容错（进程崩溃，宕机） • 任务提交给集群调度器，由其下发至服务器执行 • 任务动态部署 • 服务器复用，提高资源利用率 • 可以调度Hadoop任务，在一个集群内同时运行多个Hadoop实 例，及Hadoop与其他任务共享资源 • 任务间通信通过名字服务系统 • 与之配套的认证/权限系统及无阻塞网络 提高资源利用率：服务器复用 • 服务器资源需要隔离/保护，应用互不干扰 • CPU/Memory/Disk/Network • 虚拟机 • VMWare/Xen/KVM • 资源容器（Resource Container ） • 诞生于1999，与VMWare/Xen 同龄 • FreeBSD Jail • Solaris Zone • Linux Container • Control Groups （cgroups ），用户可在cgroups框架上 开发subsystem • Linux Container （lxc ） 虚拟机：Machine Level Virtualization App App App OS OS OS VM VM ... VM Virtual Machine Monitor (VMM) Hardware •更彻底的隔离保护 •支持多版本OS及配置，适合异构环境 •在线扩容需要OS对CPU/Memory/Disk hot-plug支持 •开销更多 资源容器：OS Level Virtualization Resource Resource Resource Container Container