HDFS混合加密保护方案的设计.docVIP

HDFS混合加密保护方案的设计 　　摘 要： 如何有效解决云计算中存在的安全问题是关系到云计算产业发展的关键。针对Hadoop云计算系统在数据共享中存在的安全问题，采用了一种基于RC4和RSA的混合加密保护方案，该方案在云存储数据共享过程中，紧密结合Hadoop云计算系统的特性，能够实现数据的安全共享，同时兼顾保密性与效率。 　　关键词： HDFS； 数据安全； RC4； RSA； 混合加密 　　中图分类号：TP309.2 文献标志码：A 文章编号：1006-8228（2014）07-17-03 　　Abstract： Security is becoming a huge concern for users. How to solve the security problems has been the top priority for the cloud computing industry. In this paper， a hybrid encryption scheme based on RC4 and RSA is presented. This encryption addresses the security problems in data sharing of Hadoop system. Combined with the characteristics of Hadoop cloud computing system， the new approach ensures both the security and efficiency. 　　Key words： HDFS； data security； RC4； RSA； hybrid encryption 　　0 引言 　　2006年，Google首次提出“云计算”（Cloud Computing）的概念，云计算被看作是IT领域的第三次重要变革。Apache基金会在Google云模型的基础上开发了著名的开源云计算平台Hadoop，它实现了HDFS（分布式文件系统）和MapReduce（编程模型）。云计算通过将计算分布在大量分布式计算机上，以按需服务模式向用户提供计算力、存储空间和应用服务，是一种具有极高“性价比”的资源。然而，用户数据存储在云环境中，由于其虚拟化的特点，用户无法获知存储细节，并且用户信息的所有权与管理权相分离，这成为了用户数据安全的潜在威胁[1]。据悉，用户对托管在云端数据的安全性仍有担忧，并认为安全问题将成为云计算发展的巨大瓶颈[2-3]。本文主要分析了Hadoop云存储中存在的数据安全问题，结合Hadoop系统的特性，设计了一种基于RC4和RSA的混合加密数据保护方案，该方案对静态存储在HDFS中的数据进行混合加密，从而可有效地避免数据泄露问题。 　　1 Hadoop系统及其存在的安全问题 　　随着大数据时代的到来，规模庞大的数据正成为人类新的资产和财富，如何针对海量数据进行科学的处理已成为国家、企业应对大数据时代的关键问题之一。Hadoop作为世界上著名的开源云计算系统，将对海量数据的存储和处理提供极大支持和便利。但Hadoop系统本身存在的安全问题不容忽视，成为人们对其应用的重要考量。 　　1.1 Hadoop主要结构分析 　　Hadoop是由Apache基金会发展的开源云计算系统，是一个在计算机集群上使用简单编程模型来处理大数据集的软件框架，其中的海量数据分别存储在集群中的每个节点上，每个节点负责处理存储在自己本地硬盘上的数据。Hadoop主要由HDFS（Hadoop分布式文件系统）和Hadoop MapReduce两大部分组成。其中的HDFS直接存储着用户数据信息，为Hadoop的所有应用提供极其重要的分布式存储服务，因此HDFS对整个Hadoop系统的安全性具有重要意义。HDFS采用Master/Slave架构，一个HDFS集群是由一个NameNode和一定数目的DataNodes组成，NameNode是一个负责管理存储文件元数据信息的中心服务器，而DataNode则存储文件的Block。 　　1.2 HDFS数据存储与删除过程 　　客户端在HDFS中存储数据的基本流程如图1所示。 　　当客户端存储数据文件到HDFS中时，文件最终以Block的形式被DataNode接收并保存在本地文件系统当中，并由DataNode负责管理和维护存储在本地的文件。当客户端需要删除文件时，本地的文件通过Java的文件删除机制将其删除，这与单机状态下文件的删除原理相同[4]。用户在使用普通删除命令删除文件时系统只是修改文件的文件目录项的第一个字节为特殊字符，去除目录区的文件名和数据区的文件数据之间的索引链接，