基于Mesos的分布式操作系统 王璞.pdfVIP

基于Mesos的分布式操作系统 王璞@数人科技 为什么要用分布式系统？ 成本低廉 3 分布式系统设计理念 动态资源管理 可横向拓展，管理数百台至上万台服务器 像使用一台电脑一样使用整个分布式集群 采用性能中等的服务器而不是高配置服务器 高可用，不允许单点失效，要对软硬件容错 应用程序：多实例、负载均衡、服务发现 数据：复本、分片、一致性哈希环 数据本地性，让计算任务找数据，减少通讯开销 4 Linux OS与Distributed OS对比 Linux OS Distributed OS 资源管理 Linux Kernel Mesos 进程管理 Linux Kernel Docker 任务调度 init.d, cron Marathon, Chronos 进程间通讯 Pipe, Socket RabbitMQ, Kafka 文件系统 ext4 HDFS, Ceph 5 Mesos 3 Masters ，由Zookeeper负责协同 ~1,000 Slaves ，每个2核CPU、4GB 内存 应用平台/框架：Marathon、Chronos、Spark、Storm 6 细粒度资源分配 Coarse-Grained Sharing: Fine-Grained Sharing (Mesos): Fw. 3 Fw. 3 Fw. 2 Fw. 1 Framework 1 - Storm Fw. 1 Fw. 2 Fw. 2 Fw. 1 Fw. 2 Fw. 1 Fw. 3 Framework 2 - Spark Fw. 3 Fw. 3 Fw. 2 Fw. 2 Fw. 3 Fw. 2 Framework 3 - Hadoop Fw. 1 Fw. 1 Fw. 3