基于HDFS的安全机制设计.pdfVIP

基于HDFS的安全机制设计 柴黄琪 ，苏 成 (中国矿业大学 计算机科学与技术学院，江苏 徐州 221008) 摘 要 ：Hado0P在企业界逐步得到了广泛的应用，其子项 目Had∞p分布式文件系统 (HDF。)的安全问题就表现得 日益突出。在研 完了Keer。s~(Y~BBAC模型的基础上，提出了基于今牌的认证机制、基于今牌的访问控制机制以及基于域和角色的访问控制 O 模型 以解决 HDFS的认证与授权 问题 。 圜嘲 关键词 ： Had。。p分布式文件系统；认证 ；授权 ；令牌 Design ofSecurity Mechanism based on HDFS CHAlHuang—qi，SUCheng (SchoolofOompL／teFSOleT／Ee Tsohnolo~y,ohh／aL／／zlV~rs#／ofE／h／h／g7~-ech／zolog％ Xuzhau,Ja／ndsu22M08Ohh／a) Abstract：AsaresultofwidespreadapplicationofHadoopinindustry during theseyears，Security concepesofHDFS，Hadoop’Ssubproject，are becoming increasingly serious．BasedOR the research on such security mechanismsasKerberos，BBAC modeland SO on，the paperproposessuch solutionsasAuthenticationBased onToken．AccessControl~asedonToken，AccessControlModelbasedonDomainand gole，tO figureOUtthe problemsof authentication andauthorization． Key words：HadoopDistributeFileSystem；Authentication；Authentication；Token 1引言 中的文件，一个文件会被划分成n个 Block，然后再将 1．1HDFS简介 每个 Block存放到一组 DataNode中，同时 DataNode HDFS(Had0op Distributed File System)是 Apache基金会管理的开源项 目Hadoop其 中的一个子 项 目。它的主要思想来源于gFS(GoogleFileSystem)… HDFS与当前现存的分布式文件系统有着许多共同之处， 但也有着一些非常重要的不同之处：HDFS支持高容错 且可以部署在成本很低的传统计算机上；提供高吞吐量 的访问，所以非常适用于一些具有大量数据处理的应用 程序。 1．2HDFS结构 HDFS的整体框架结构 如图 1所示。 一 。。，：、] f}、1 _^。、1 L j 图 1HDFS的基本结构 从 图 中 可 以 看 到 三 个 最 主 要 的 功 能 部 件 ： NameNode，DataNode，Client。Client实际上就是访 问HDFS的应用程序。DataNOde主要 负责存储系统 版本上都基本上没有考虑 ，所以当前各大商业公司搭建 2．2用户授救 (Au~rization) 的Hadoop集群都是私有云架构的，换句话说，现有的 2．2．1访问控制机制过于简单 Hadoop集群一般都是公司内部使用。本文第二节会对 HDFS仅 仅在 C