容量调度器配置与使用指南.pdfVIP

容量调度器指南

目录

1目的.2

2概述.2

3功能特性.2

4安装.3

5配置.4

5.1使用容量调度器.4

5.2设置队列.4

5.3队列属性.4

5.4基于资源的调度.6

5.5审查容量调度器的配置.8

6示例.8

CapacitySchedulerGuide

Tableofcontents

1Purpose2

2Overview2

3Features2

4Installation3

5Configuration4

5.1UsingtheCapacityScheduler.4

5.2Settingupqueues.4

5.3Queueproperties.4

5.4Resourcebasedscheduling.6

5.5ReviewingtheconfigurationoftheCapacityScheduler8

6Example8

1目的

本文档描述了CapacityScheduler，这是一个可插MapReduce调度器，用

于Hadoop，允许多个租户安全地共享一个大型集群，使得他们的应用程序在分

配容量的约束下能够及时获得资源分配。

2概述

容量调度器的设计目的是以一种操作友好且共享多租户的方式在集群中运行Hadoop

Map‑Reduce，同时最大限度地提高吞吐量和集群资源利用率，并在运行Map‑Reduce应用程序时

实现。

传统上，每个组织都有自己的私有计算资源集，这些资源具有足够的容量以在峰值

或接近峰值条件下满足该组织的SLA。这通常导致较差的平均利用率以及管理多个

独立集群的开销，每个组织都需要一个独立的集群。在组织之间共享集群是一种具

有成本效益的运行大型Hadoop安装的方式，因为这使它们能够获得规模经济的好

处，而无需创建私有集群。然而，组织担心共享集群，因为它们担心其他人会使用

对其SLA至关重要的资源。

容量调度器旨在允许共享大型集群，同时为每个组织提供最小容量保证。其核心思想

是根据多个组织的计算需求，将HadoopMap‑Reduce集群中的可用资源划分给这些

组织，它们共同资助该集群。此外，一个组织还可以访问其他组织未使用的任何多余

容量。这以一种具有成本效益的方式为组织提供了弹性。

跨组织共享集群需要强大的多租户支持，因为必须保证每个组织的容量，并提供安

全机制以确保共享集群不会受到单个恶意作业或用户的影响。容量调度器提供了一

组严格的限制，以确保单个作业、用户或队列无法占用集群中不成比例的资源量。

此外，尤其是集群的JobTracker是一种宝贵的资源，容量调度器对来自单个用户或

队列的已初始化/挂起任务和作业设置了限制，以确保集群的公平性和稳定性。

容量调度器提供的主要抽象概念是队列。这些队列通常由管理员设置，以反映共享集群的资源分配

策略。

3功能特性

容量调度器支持以下功能特性：

1Purpose

ThisdocumentdescribestheCapacityScheduler,apluggableMapReduceschedulerfor

Hadoopwhichallowsformultiple-tenantstosecurelysharealargeclustersuchthatthei