面向Hadoop的安全机制设计-计算机应用技术专业毕业论文.docxVIP

I I PAGE PAGE IV 摘 要 摘 要 近几年，随着信息的爆炸式增长，大数据时代来临，作为海量数据存储与计算的 Hadoop 技术逐渐成为热门应用，Hadoop 是 Apache 软件基金会旗下的一个开源分布 式计算平台，相较于企业传统的通过购买昂贵的、高性能的大型服务器来对大量数据 进行处理，Hadoop 更具性价比，因为它可以搭建运行在廉价的商用机器集群上，通 过分布式数据存储和计算框架来完成对大数据的存储计算。正是因为 Hadoop 自身所 具有的高可靠性、高扩展性、高效性、高容错性等优点，它逐渐成为大企业及研究机 构的研究焦点。 但随着 Hadoop 应用的扩大加深，其安全问题也日益凸显，Hadoop 在数据存储及 数据处理等技术领域存在的不安全因素，让许多亟待使用它的企业望而却步。 本文从 Hadoop2.0 版本中的核心子项目 HDFS 和 YARN 入手，分析其在服务过 程中的认证和授权机制，对当前所采用的基于 Kerberos 和基于非对称加密的 Token 认证机制、传输加密机制、基于 Linux/Unix 系统自带的访问控制机制进行了详细的 分析，归纳这些安全措施在安全性及效率性两方面存在的缺陷，并在此基础上提出了 新的安全框架。 本文的创新点： 1、本文提出将基于 PKI 的数字证书认证技术代替原有的 Kerberos 认证，并利用 基于非对称加密的公私钥原理设计全新的、更加安全、更加有效的认证令牌。 2、将基于数字信封的 AES 对称加密技术应用到 Hadoop2.0 安全传输加密中，兼 顾了 Hadoop 数据传输过程中的安全性和效率性。 3、针对 Hadoop 集群多用户、大数据、多线程的服务特点，本文提出了更灵活、 更严密的基于角色的自主访问控制机制，并使用 ACL 技术实现。相比于原有的简单 的授权管理，本文所提出的授权管理方案系统开销更小、权限判定更加简洁、授权管 理更加严密，并且更加适应 Hadoop2.0 的安全策略。 关 键 词 ： 大 数 据 ； Hadoop ； Kerberos 认 证 ； PKI ； 授 权 管 理 面向 面向 Hadoop 的安全机制设计 Abstract In recent years, with the explosive growth of information, the era of big data is coming.Hadoop,as the technology of mass data storage and computing, gradually become hot Applications, Hadoop is an open source distributed computing platform of the Apache software foundation.Compared with traditional methods by buying expensive, high-performance large server for handling large amounts of data, Hadoop is more cost-effective, because it can be build and run on cheap business machine cluste for large data storage and computing through distributed data storage and computing framework. Because Hadoop itself has high reliability, high scalability, high efficiency, high fault tolerance, etc, it has gradually become the research focus of large enterprises and research institutions. But with the enlargement of the Hadoop Applications, its security problem is increasingly protruding, the unsafe factors of Hadoop in data storage and data processing technology turned off many enterprises who need to use it. This paper analysis the authentication and authoriza