利用mesos+docker构建基于IDC资源池的弹性任务调度系统陈长坚.pptx

利用mesos+docker构建基于IDC资源池的弹性任务调度系统GITC GITC GITC GGIITTCC GGIITTCC GGIITTCC GITC GITC GITC GITC陈长坚2016.06.28目录? 存在的问题? 解决方案介绍? ESF系统介绍GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC? ESF设计实现要点? ESF系统展望存在的问题现有定时任务调度系统(Kira)的调度模式GGIITTCC GGIITTCC GITC GITC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCCGITC GITC GITC GITC GGIITTCC GGIITTCC GITC GITC GITC GITC存在的问题GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC解决方案介绍为啥选Docker？1. 社区活跃，生态好，工具多。（首选依据！）2. OCI开放容器标准实现。（兼容下层各类硬件和上层各类编排工 具。）3. 联合文件操作系统，镜像分层。（所需执行的定时任务以一个个镜GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC像的方式存在。）4. 轻量，秒级启动容器。（适合作为任务执行单元。）5. 实现了资源限制，资源隔离机制。（满足对任务执行的基本要求。5. 其他优点。。。为啥选Mesos？1. Apache顶级项目，社区活跃，有很多成功案例。2. Mesos可将IDC中所有主机的资源放入一个资源池，使所有主机的行为整体 上像一个大计算机。DCOS(数据中心操作系统)3. 以双层调度框架作为设计理念。第一层，由mesos维护IDC资源池，并将资GGIITT源CC分GG配IITT给CC框架GG；IITT第CC二GG层II，TTCC框架GG自IITT己CC的GG调II度TTCC器将GG资IITT源CC分GG配II给TTCC自己GG内IITT部CC的GG任II务TTCC。（ESF设计为其中的一个框架！）3. Mesos内部帮我们处理了大量的分布式系统常见问题。接入Mesos只要按其 API规定实现Scheduler和Executor即可。(简化开发)4. 其他优点。。。GITC GITC GITC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GITC GITCMesos调度过程GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCCESF系统介绍GITC GITC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCCESF系统介绍GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GITC GGIITTCC GGIITTCC GGIITTCCESF系统介绍GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCCESF设计实现要点-Job元数据定义GITC GITC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GGIITTCC GITC GITCESF设计实现要点-调度逻辑分层ESF设计实现要点-网络l 不同的类型的任务采用不同的Docker网络方案。l 可以通过Job元数据 灵活设置网络相关参数。1. 对于需要对外暴露IP的（常驻服务类型的任务），采用一容器 一IP的网络方案，并通过IPAM模块统一维护映射关系。(启动参GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC数--net=none，并通过 Openvswitch网桥自定义配置网络IP，路由，网关等信息。 )2. 对于不需要对外提供服务的（普通类型的任务 ），采用默认-- net=bridge方式 。 ESF设计实现要点-业务日志和监控日志：l 通过Volume把容器内相关目录映射到宿主机上。l 维护宿主机和容器的映射关系。l 现有CMDB系统做点小修改即可兼容。GITC GITC GITC GITC GITC GGIITTCC GITC GITC GIT