面向大数据的分布式调度.docxVIP

PAGE 1 PAGE 1 面向大数据的分布式调度  大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征绽开，再对大数据调度个性化特征的一些阐述。  前言：大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征绽开，再对大数据调度个性化特征的一些阐述，由满意大数据使用的架构和业务场景的需求上娓娓道来，从实践的角度共享如何打造一个高可用、高效率、敏捷性的大数据调度平台。  一、调度  从上个世纪50年月起，调度问题的研究就受到数学、运筹学、工程技术学等领域科学的重视，人们主要从数学的角度来研究调度问题，调度问题也同样被定义为”安排一组资源来执行一组任务”，以获得生产任务执行时间或成本的最优。调度在计算机任务的实现可以依靠操作系统的定时任务进行触发（例如Linux系统的Crontab），主要针对单任务机制的触发，调度最基本的需要能够按时或者根据事件进行触发（At-least-once），假如任务不符合预期，还需要在应用端进行重试，最大可能保证任务被按时执行，并且成功执行，同时不能多次执行（Exactlyonce）；但是在业务场景能保证可重复执行、全都性操作状况下对于争