SARN：一种适用于YARN可扩展框架.pdfVIP

SARN：适用于YARN的可扩展框架

陆中浩，齐琦

网络与交换技术国家重点，邮电大学，，，

16uzhonghao,wangjingyu,qiqi}@

0087邮箱：{l

：随着互联网的快速发展，我们已经进入了大硬件资源，有必要提出一种策略，用于空闲容

数据时代。在大数据时代，HadoopYetAnother器和繁忙容器，使容器在空闲时释放资源。本文介

ResourceNegotiator(YARN)是常用的大数据处绍了一种可扩展的YARN框架，并将底层

理框架之一。YARN了对多种编程模型的支持，云计算平台与YARN集成，实现了动态容器在任务

因此像Storm、HBase和Hive这样的多个框架可生命周期中动态缩减和扩展资源（目前仅限内存）。

以作为应用程序在YARN上运行[1]。为了更好地该框架中的SARN组件可以自动管理和协调集群上

利用硬件资源并提高集群效率，提出了一种可扩展运行的任务资源。

框架（SARN）。SARN包括动态容器和

快速部署组件，可以弹性地扩展或缩减YARN工作

节点的数量以满足多个任务的实际资源需求。我们

本文的其余部分结构如下。第2节介绍YARN的相关

在空闲模式（集群空闲）和急切模式（集群资源相

工作。第3节阐述我们的动机，并在第4节简要介绍

对不足以满足应用程序的需求）下进行了实验。实

SARN框架。第5节通过实验评估SARN在两种模式

验结果表明，该方法在这两种情况下都能提高应用

下的性能。最后，第6节总结全文。

程序的性能。

:YARN；动态容器；框架2相关工作

YARN相比Hadoop的早期版本有许多改进。早期版

1引言本的Hadoop存在集群最大规模为4000个节点和最

随着大数据处理和云计算的快速发展，Hadoop大并发任务数为40000等缺点。数据计算框架由一个

YARN成为了这一领域中最著名的工具之一。虚拟机全局器（RM）和节点从属节点管理器（

在机创建，并且这些虚拟机可以用于托管各NM）组成。YARN将JobTracker的主要功能，即

种服务，如、计算、操作系统和软件。许多组织和作业调度/，拆分为单独的守护进程

出于成本效益考虑，更倾向于将计算任务转移到云上。[3][4]。

同时，大规模并行计算需要YARN框架。该框架最Gupta等人[5]提出了一种吞吐量调度器来管理集群

初由谷歌使用，后来被雅虎采用，最终成为资源，并了一种在多集群系统中运行多个

Apache下的一个开源项目，命名为Hadoop[1]。MapReduce框架实例的方法，以动态地扩展或缩减

传统数据库无法处理的数据被称为大数据。虽然有许每个MR实例的资源。然而，吞吐量调度器不支持在

多解决方案可以处理大数据，但最常见和广泛使用的应用程序生命周期内更改容器资源。

是HadoopYARN[2]。YARN可以定义为在多台机

器和服务器上的分布式处理。它是一种专门用于数据