YARN调度器的配置大数据离线分析78课件讲解.pptxVIP

YARN资源调度器的配置大数据离线分析

教学目标了解YARN的几种核心调度器掌握配置Capacity与FairScheduler掌握队列管理、资源预留与抢占等高级功能掌握通过XML配置文件完成调度策略的配置

1.调度器概述YARN调度器概述包括三种主要类型：FIFOScheduler按提交顺序执行作业，简单但可能导致长作业阻塞；CapacityScheduler通过队列分配固定容量，支持多租户和优先级；FairScheduler动态分享资源，确保公平分配，避免饥饿现象。FIFO用于小集群，Capacity和Fair用于生产环境。通过yarn.scheduler.class参数选择调度器，这些类型提供基础资源管理框架，帮助平衡负载和响应时间。

2.CapacityScheduler配置CapacityScheduler配置通过yarn-site.xml定义队列容量和访问控制。关键参数包括yarn.scheduler.capacity.root.queues指定子队列，yarn.scheduler.capacity.root.queue.capacity设置百分比容量，支持最小/最大用户限制如yarn.scheduler.capacity.root.queue.user-limit-factor

3.FairScheduler配置FairScheduler配置使用fai