一种Hadoop 集群限量使用模型.docVIP

一种Hadoop 集群限量使用模型 　　摘要：Hadoop是当今主要的云平台之一，采用Kerberos作为身份认证机制实现单点登录，底层以SLA实现访问授权。该模型可提供基本的安全访问控制，但无法监控用户通过认证授权后的行为。该文提出了一种基于访问统计的控制模型，以限制用户不能过量占用Hadoop集群计算能力。 　　关键词：Hadoop；访问控制；限量使用；LDAP 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）13-0047-02 　　随着当今社会的发展，所需要处理的信息量越来越大，Hadoop[1]作为一种高可靠、高可用、低成本的集群环境，已经逐渐成为并行处理事实上的标准。致力于高效处理数据的初衷，Hadoop的开发及维护者最初并未将安全问题置于第一位，Hadoop集群管理者将内网和所有主机置于一个绝对安全的封闭环境，所有作业只能由管理员运行，也就是说，基本将Hadoop集群视为与外界隔绝的一台“超级计算机”。随着Hadoop的发展，各种新的应用逐渐出现于Hadoop生态圈中，如Hive、Storm、Hbase等，而不仅仅只限于最初的HDFS和MapReduce[2]，单个管理员难以管理越来越多的应用；同时作为一种稀缺资源，开放Hadoop集群的计算能力给多个部门或用户使用也逐渐成为必然。 　　然而，开放Hadoop集群也同时带来了安全风险[3]，因此Hadoop在身份认证方面，采用了Simple（Linux用户/组身份认证）和Kerberos（单点登录）两种方式[4]。在身份认证通过后，对于服务的访问可打开SLA（Service Level Authorization）开关以控制哪些用户可以访问某种服务[5]。Hadoop提供了基本的认证及授权保护，但并未对用户通过授权之后的行为进行限制，一个“贪心”甚至是恶意的用户可能会提交大量的作业或是HDFS操作，从而挤占宝贵的集群资源，使其他用户不能公平地来分享集群。Hadoop YARN中的Fair Scheduler作业调度机制[6]尽可能保证当前每个用户的作业都获得等量的资源份额，可在一定程度上解决该问题，但不能从根本上避免此类问题。因此，我们提出了一种基于“消费”的权限控制手段，在对Hadoop底层机制仅作少量修改、不影响集群运行效率的前提下，统计每个用户在使用集群时耗费的计算资源，从而限制每个用户不能过度的使用集群资源。 　　1 Hadoop现有的认证授权过程 　　对于开放共享的Hadoop集群，Simple认证方式太过简单，无法起到保护作用，必须使用Kerberos单点登录。Hadoop中基于Kerberos认证的访问过程[7]如图1所示。 　　1）客户端访问Hadoop服务前，先向Kerberos KDC（Key Distribution Center，密钥分发中心）验证身份。 　　2）若身份认证通过，KDC返回一个TGT票据（Ticket Granting Ticket），单点登录成功。客户端今后可持该票据向其他服务器表明身份并请求服务。在Hadoop集群中，客户端接下来可向NameNode或ResourceMananger发出服务请求。 　　先看一下对HDFS的访问流程。 　　3a. 客户端持TGT与NameNode进行通信，双方互相证明身份，这里双方均需与KDC交互，该过程不做详述。 　　4a. 如果每次验证都使用TGT，开销较大，因此NameNode第一次验证客户端后，便向向客户端分发一个NameNodeDelegation Token，以后客户端就可以使用开销较小的Token来证明身份。 　　5a. 客户端接着使用Delegation Token向NameNode请求服务，例如需要对HDFS中某个文件进行读/写，向NameNode发出询问。 　　6a. NameNode根据MetaData映射表得出文件信息，包括文件对应的Block块以及Block块对应的DataNode信息等，并生成一个Block Access Token分发给用户。 　　7a. 用户持Block Access Token向相应的DataNode请求服务，DataNode执行读写请求并返回结果。 　　客户端提交/查询/中止作业需要与ResourceManager进行交互，流程与上类似。 　　3b. 客户端持TGT与ResourceManager进行通信，双方互相证明身份。 　　4b. ResourceManager向客户端分发一个ResourceManager Delegation Token。 　　5b. 客户端使用Delegation Token向ResourceManager发起作业请求，Resou