分布式调度技术架构演变.docx

分布式调度技术架构演变StoneNote微信号 butianys功能介绍 一颗坚持的石头，学者型技术人，探索事物的第一性原理。?1 引言什么是调度？通常所说的调度（schedule）是和时间有关的，比如我今天的schedule很紧（如图1所示）。时间作为唯一的不可逆转的资源，一般是划分为多个时间片来使用。就计算机而言，由于CPU的速度快的多，所以就有了针对CPU时间片的调度，让多个任务在同一个CPU上运行起来。然而这是一个假象，某一时刻CPU还是单任务运行的。图1 时间片的划分为了在同一时间运行更多的任务，或者多个处理器一起工作完成一个任务目标，就需要一个协调者——这就成为一个分布式系统，就单个数据中心或者小范围来说，这就是集群。如果让一个分布式系统运行多个任务，每个任务对分布式系统中的资源必然产生竞争，时间调度就发展到资源调度。宏观上来说调度主题包括了单机操作系统、C/S系统、B/S系统、P2P系统、集群系统、分布式系统等等，以及网络协议栈、存储协议栈的各种调度机制。本文主要总结了集群调度发展的三个阶段：宏调度、两层调度和共享状态调度，并比较了三者之间的优缺点。2 集群调度2.1 宏调度(Monolithic schedulers)宏调度：在同一个代码模块中实现调度策略，单个实例，没有并行。常见于HPC（high-performance computing）世界中。图2 Hado