利用mesos docker构建基于IDC资源池的弹性任务调度系统.pdfVIP

利用mesos+docker构建基于IDC资源池的 弹性任务调度系统 陈长坚 2016.06.28 目录 • 存在的问题 • 解决方案介绍 • ESF系统介绍 • ESF设计实现要点 • ESF系统展望 存在的问题 现有定时任务调度系统(Kira)的调度模式 存在的问题 解决方案介绍 为啥选Docker？ 1. 社区活跃，生态好，工具多。 （首选依据 ！） 2. OCI开放容器标准实现。 （兼容下层各类硬件和上层各类编排工 具。） 3. 联合文件操作系统，镜像分层。 （所需执行的定时任务以一个个镜 像的方式存在。） 4. 轻量，秒级启动容器。 （适合作为任务执行单元。） 5. 实现了资源限制，资源隔离机制。 （满足对任务执行的基本要求。 5. 其他优点。。。 为啥选Mesos？ 1. Apache顶级项 目，社区活跃，有很多成功案例。 2. Mesos可将IDC中所有主机的资源放入一个资源池，使所有主机的行为整体 上像一个大计算机。DCOS(数据中心操作系统) 3. 以双层调度框架作为设计理念。第一层，由mesos维护IDC资源池，并将资 源分配给框架；第二层，框架自己的调度器将资源分配给自己内部的任务。 （ESF设计为其中的一个框架 ！） 3. Mesos 内部帮我们处理了大量的分布式系统常见问题。接入Mesos只要按其 API规定实现Scheduler和Executor即可。(简化开发) 4. 其他优点。。。 Mesos调度过程 ESF系统介绍 ESF系统介绍 ESF系统介绍 ESF设计实现要点-Job元数据定义 ESF设计实现要点-调度逻辑分层 ESF设计实现要点-网络 l 不同的类型的任务采用不同的Docker网络方案。 l 可以通过Job元数据 灵活设置网络相关参数。 1. 对于需要对外暴露IP的 （常驻服务类型的任务），采用一容器 一IP的网络方案，并通过IPAM模块统一维护映射关系。(启动参 数--net none，并通过 Openvswitch网桥自定义配置网络IP，路 由，网关等信息。 ) 2. 对于不需要对外提供服务的 （普通类型的任务 ），采用默认-- net bridge方式 。 ESF设计实现要点-业务 日志和监控 日志： l 通过Volume把容器内相关 目录映射到宿主机上。 l 维护宿主机和容器的映射关系。 l 现有CMDB系统做点小修改即可兼容。 监控： l 容器内安装Zabbix Agent ，以便兼容现有监控体系。 l 容器内安装LogAgent 以便接入已有的基于ELK的日志分析系统。 l 容器监控 目前比较薄弱，暂时使用CAdvisor实现容器的简单监控。 ESF设计实现要点-其他 1. 通过设置mesos-slave主机的Attribute来实现更为灵活的调度需 求。 2. 元数据，实时调度数据保存好，设计和实现上考虑崩溃后系统 恢复问题。 3. 服务发现直接使用公司现有SOA框架Hedwig，无需另外开发。 4. 以Region概念区分可能存在的各个独立的ESF系统 （比如普通 测试环境，性能测试环境。），方便统一管理。 5. 考虑不同类型的任务使用不同的基础镜像。