基于Mesos和Docker的分布式计算平台.pdfVIP

基于Mesos和Docker的分布式计算平台

摘要：Docker及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将

二者进行有效地结合？本文将介绍数人科技基于Mesos和Docker的分布式计算平台的实践。

针对“互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式

x86集群已成为标准解决方案，如Google已经在几千万台服务器上部署分布式系统。Docker及其相

关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？本文

将介绍数人科技基于Mesos和Docker的分布式计算平台的实践。

分布式系统设计准则

可伸缩性

首先分布式系统一定是大规模的系统，有很好的Scalability。出于成本的考虑，很多大规模的

分布式系统一般采用廉价的PC服务器，而不是大型的高性能服务器。

没有单点失效

廉价的PC服务器在大规模使用中经常会遇到各种各样的问题，PC服务器的硬件不可能是高可靠

的，比如Google的数据中心每天都会有大量的硬盘失效，所以分布式系统一定要对硬件容错，保证

没有任何的单点失效。在这种很不稳定、很不可靠的硬件计算环境下，搭建一个分布式系统提供高可

靠服务，必须要通过软件来容错。分布式系统针对不允许有单点失效的要求有两方面的设计考虑，一

种是服务类的企业级应用，每个服务后台实例都要有多个副本，一两台硬件故障不至于影响所有服务

实例；另外一种数据存储的应用，每份数据也必须要有多个备份，保证即使某几个硬件坏掉了数据也

不会丢失。

高可靠性

除了单点失效，还要保证高可靠性。在分布式环境下，针对企业级服务应用，要做负载均衡和服

务发现来保证高可靠性；针对数据服务，为了做到高可靠性，首先要按照某种算法来把整体数据分片

（因为一台服务器装不下），然后按照同样的算法来进行分片查找。

数据本地性

再一个分布式设计理念是数据本地性，因为网络通信开销是分布式系统的瓶颈，要减少网络开销，

应当让计算任务去找数据，而不是让数据去找计算。

分布式系统与Linux操作系统的比较

由于纵向拓展可优化空间太小（单台服务器的性能上限很明显），分布式系统强调横向扩展、横

向优化，当分布式集群计算资源不足时，就要往集群里面添加服务器，来不停地提升分布式集群的计

算能力。分布式系统要做到统一管理集群的所有服务器，屏蔽底层管理细节，诸如容错、调度、通信

等，让开发人员觉得分布式集群在逻辑上是一台服务器。

和单机Linux操作系统相比，虽然分布式系统还没有成熟到成为“分布式操作系统”，但它和单

机Linux一样要解决五大类操作系统必需的功能，即资源分配、进程管理、任务调度、进程间通信（IPC）

和文件系统，可分别由Mesos、Docker、Marathon/Chronos、RabbitMQ和HDFS/Ceph来解决，对应于

Linux下的LinuxKernel、LinuxKernel、init.d/cron、Pipe/Socket和ext4，如图1所示。

图1分布式系统与Linux操作系统的比较

基于Mesos的分布式计算平台

Mesos资源分配原理

目前我们的Mesos集群部署在公有云服务上，用100多台虚拟机组成Mesos集群。Mesos不要求

计算节点是物理服务器还是虚拟服务器，只要是Linux操作系统就可以。Mesos可以理解成一个分布

式的Kernel，只分配集群计算资源，不负责任务调度。基于Mesos之上可以运行不同的分布式计算

平台，如Spark、Storm、Hadoop、Marathon和Chronos等。Spark、Storm和Hadoop这样的计算平

台有任务调度功能，可以直接使用MesosSDK跟Mesos请求资源，然后自行调度计算任务，并对硬件

容错。Marathon针对服务型分布式应用提供任务调度，比如企业网站等这类需要长时间运行的服务。

通常网站应用程序没有任务调度和容错能力，因为网站程序不太会处理某个后台实例挂掉以后要在哪

台机器上重新恢复等这类复杂问题。这类没有任务调度能力的服务型分布式应用，可以由Marathon

来负责调度。比如，Marathon调度执行了网站服务的一百个后台实例，如果某个实例挂掉了，Marathon

会在其他服务器上把这个实例恢复起来。Chronos是针对分布式批处理应用提供任务调度，比如定期

处理日志或者定期调Hadoo