分布式调度技术架构演变.docx

分布式调度技术架构演变StoneNote微信号 butianys功能介绍 一颗坚持的石头，学者型技术人，探索事物的第一性原理。?1 引言什么是调度？通常所说的调度（schedule）是和时间有关的，比如我今天的schedule很紧（如图1所示）。时间作为唯一的不可逆转的资源，一般是划分为多个时间片来使用。就计算机而言，由于CPU的速度快的多，所以就有了针对CPU时间片的调度，让多个任务在同一个CPU上运行起来。然而这是一个假象，某一时刻CPU还是单任务运行的。图1 时间片的划分为了在同一时间运行更多的任务，或者多个处理器一起工作完成一个任务目标，就需要一个协调者——这就成为一个分布式系统，就单个数据中心或者小范围来说，这就是集群。如果让一个分布式系统运行多个任务，每个任务对分布式系统中的资源必然产生竞争，时间调度就发展到资源调度。宏观上来说调度主题包括了单机操作系统、C/S系统、B/S系统、P2P系统、集群系统、分布式系统等等，以及网络协议栈、存储协议栈的各种调度机制。本文主要总结了集群调度发展的三个阶段：宏调度、两层调度和共享状态调度，并比较了三者之间的优缺点。2 集群调度2.1 宏调度(Monolithic schedulers)宏调度：在同一个代码模块中实现调度策略，单个实例，没有并行。常见于HPC（high-performance computing）世界中。图2 Hadoop1和MapReduce 的宏调度架构如图2所示，以为MapReduce为例，一个称之为JobTracker的Master进程是所有MapReduce任务的中心调度器。每一个节点上面都运行一个TaskTracker进程来管理各个节点上的任务。各个TaskTracker要和Master节点上的JobTracker通信并接受JobTracker的控制。和大多数资源管理器类似，MapReduce的JobTracker支持两种调度策略，Capacity调度策略和Fair调度策略。在JobTracker中，资源的调度和作业的管理功能全部放到一个进程中完成。这种设计方式的缺点是扩展性差：首先，集群规模受限；其次，新的调度策略难以融入现有代码中，比如之前仅支持批处理作业，现在要支持流式作业，而将流式作业的调度策略嵌入到中央式调度器中是一项很难的工作。2.2 静态分区（Statically partitioned schedulers）基于静态分区的资源划分和调度也被称为云计算中的调度，通过在云平台中分配和定义虚拟机角色，实现资源集合的全面控制。业务系统往往部署在专门的、静态划分的集群的一个子集上——把集群划分为不同的部分，分别支持不同的业务。现在大多数企业级的云计算都是采用这样计划经济式的资源分配方式——在系统部署之前做好容量规划和资源分配2.3 两层调度（Two-level scheduling）为了处理宏调度和集群静态分区的种种限制，一个直接的解决方案就是两层调度。通过引入一个中央的协调组件来决定每一个子集群需要分配的资源数量，从而动态的调整分配给每一个调度器（框架调度器）的资源。两层调度本质上是在调度中分离资源分配和任务分配，让渡一部分决策权力给应用框架，解决不同应用框架的需求异构问题。如图3所示，YARN为上层不同的应用框架提供了统一的资源调度层。后文对Mesos的介绍一节会详细介绍两层调度的需求背景。图3 Hadoop1和MapReduce 的宏调度架构各个框架调度器并不知道整个集群资源使用情况，只是被动的接收资源。中央协调组件仅将可用的资源推送给各个框架，而框架自己选择使用还是拒绝这些资源。一旦框架（比如JobTracker）接收到新资源后，再进一步将资源分配给其内部的各个应用程序（各个MapReduce作业），进而实现双层调度。双层调度器有两个缺点，其一，各个框架无法知道整个集群的实时资源使用情况；其二，采用悲观锁，并发粒度小。2.3.1 YARNYARN被称之为Apache Hadoop Next Generation Compute Platform，是hadoop1和hadoop2之间最大的区别如图4所示。图4 在Hadoop 2.0中引入YARNHadoop2（MRv2）的基础思想就是把JobTracker的功能划分成两个独立的进程：全局的资源管理ResourceManager和每个进程的监控和调度ApplicationMaster。这个进程可以是Map-Reduce 中一个任务或者是DAG中一个任务。图5 在Hadoop 2.0中引入YARN在YARN的设计中，集群中可以有多个ApplicationMasters，每一个ApplicationMasters可以有多个Containers （例如，图5中有两个ApplicationMaste