基于Mesos和Docker构建企业级SaaS服务.pdf

基于Mesos和Docker 构建企业级 服务 SaaS 大纲 1. Apache Mesos简介 2. Mesos在Qunar的应用 3. Stateful service 4. Elasticsearch as a Service Apache Mesos A distributed systems kernel Apache Mesos Apache Mesos • 强大的二次开发能力 • REST API，支持所有语言 Apache Mesos • Mesos通过DockerExecutor调用docker命令实现对 容器的操作 • Framework通过编程方式指定使用DockerExecutor Mesos在Qunar的应用 • 日志处理 • 问题定位与回溯 • 快速生成数据报表 • 流处理 • 风控、推荐和ETL等 Mesos在Qunar的应用 Mesos在Qunar的应用 Mesos在Qunar的应用 • 有状态应用的尝试 • 手工管理数据目录生命周期 • 资源耗尽导致应用无法在含有数据节点rebuild • “约束”硬编码 Stateful service stateless - stateful 有状态服务才是更广泛的需求 Stateful service • Mesos version 0.23 • 状态如何落地？ • Local filesystem + volume • Distribute filesystem • 资源如何预留？ • Mesos 目前仅支持抢占式调度 • 动态划分资源？ • Static Reservation Stateful service • Mesos version = 0.23 • Persistent Volume • Dynamic Reservation • Quota • Oversubscription Stateful service • 选择Elasticsearch作为stateful改造的切入点 • Eat your own dog food • 业务线大量使用ES支撑系统 • 目标 • 即申请即用 • 整合流处理系统，结果自动写入业务线的 Elasticsearch • 统一管理、规范运维 Elasticsearch as a Service Elasticsearch as a Service Elasticsearch as a Service • 调研了一些产品： • Elasticsearch on Mesos （Cisco ） • Elastic Cloud （官方） • AWS Elasticsearch • 结合自身情况： • Elasticsearch on Mesos via Marathon Elasticsearch as a Service Elasticsearch as a Service • 按照业务线划分资源 • Multiple role based framework(MESOS-1763) • Sub