基于HDFS云存储架构模型分析.docVIP

基于HDFS云存储架构模型分析 　　摘要：云计算作为一种新兴的商业模式发展异常迅猛，云计算延伸和发展出的云存储系统已发展成为当前信息技术领域研究的热门课题之一，它被视为科技业的下一次革命。该文具体分析了云计算体系结构及云存储的结构模型，并对HDFS架构进行了详细的分析。随着信息技术深入生产生活，信息系统的数据量以前所未有的速度迅速增长，存储系统不断膨胀。云计算延伸和发展出的云存储系统正逐步成为网站和网络服务方用于存放管理自己数据信息的首要选择。 　　关键词：云计算；云存储系统；云计算体系结构；云存储结构模型；HDFS架构 　　中图分类号：TP311.1 文献标识码：A 文章编号：1009-3044（2013）36-8430-03 　　1 云计算 　　1.1 云计算定义 　　目前，“云计算（Cloud Computing）”还没有一个十分确切和统一的定义，较一致的观点认为，云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，定义主要有两种方式[1]： 　　一是狭义云计算，是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源。 　　二是广义云计算，是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。 　　1.2 云计算体系结构 　　云计算平台是网格计算（Grid Computing）、并行计算（Parallel Computing）和分布式计算（Distributed Computing）的发展，云计算的基本原理是利用虚拟化技术扩展每一个服务器，并通过分布式计算的方式，连接大量并发的网络计算与服务，并将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。 　　为了高效地支撑云计算平台，其体系结构必须具备以下几个关键特征。一是系统必须是智能的，即允许平台智能的响应一般应用的需求，从而最大限度地减轻或消除人工部署和管理任务；二是云计算的架构必须是高???及时的，能够对应用系统需求信号或应用系统的变化及时的做出反应。目前，通用的云计算体系结构主要由应用层、平台层、资源层、用户访问层和管理层五部分组成（如图1所示）[2]，云计算的本质是通过网络提供服务，所以其体系结构是以服务为核心的。 　　2 云存储 　　2.1 云存储定义 　　云存储是指通过集群技术、网格技术以及分布式文件系统等技术，将网络中大量不同类型的存储设备有效结合起来进行协同工作，共同对外提供业务访问服务和数据存储功能的一个云计算系统[3]。 　　云存储可以简单的理解为云计算中的存储，云存储的核心是存储设备与应用系统相结合，通过应用系统来实现存储设备向存储服务的转变，当云计算系统运算和处理的主要任务是存储和管理大量数据时，云计算系统中就需要提供大量的存储设备，云计算系统就转变为一个云存储系统，所以从某种意义上说，云存储就是一个以数据管理和存储为主要任务的云计算系统。 　　2.2 云存储结构模型 　　云存储是以存储设备为核心，云存储不仅仅是一堆硬件，而是一个网络设备、接入网、服务器、存储设备、应用软件、公用访问接口和客户端程序等多个部分组成的复杂系统。云存储系统主要用来进行数据存储与管理，同时云存储处理的数据都是超大规模的，其结构模型主要包括存储层、基础管理层、应用接口层和访问层四层[4]。云存储的架构模型见图2[5]所示。 　　图2 云存储的架构模型 　　1）存储层 　　存储层是云存储中的底层，同时也是云存储中最基础的部分。存储设备可以是FC光纤通道或SAS或SCSI等存储设备。云存储通过互联网、光纤通道网络等，将云存储中的数量庞大且分布多不同地域的存储设备连接起来，实现海量数据的集中存储，同时实现存储设备的多链路冗余管理、逻辑虚拟化管理等，以及硬件设备的状态监控以及容量的动态扩展和故障维护等。 　　2）基础管理层： 　　基础管理层是云存储系统中最难实现的一层，也是云存储中最为核心的部分。基础管理层主要应用集群、分布式文件系统、网格计算和虚拟化等技术来实现多个存储设备间的协同工作，使得这些不同的设备能够向用户提供一致的存储服务，同时提供更快更稳定的数据访问性能。为了提高用户数据的安全性和保护用户的私密性，云存储使用了CDN内容分发系统、数据加密技术等技术来保证用户的数据不会被未授权的用户访问，同时通过数据备份和异地容灾等技术来保证云储存系统的稳定和数据安全。 　　3）应用接口层： 　　应用接口层是云存储系统中最灵活多变的一