基于hadoop的云架构系统方案.pdfVIP

基于 Hadoop的云架构系统方案 基于 Hadoop的云架构系统方案 云计算是目前最热门的研究领域之一，也是众多企业及研究机构研究的课 题。云计算是分布式处理、并行处理和网格计算的发展，或者说是这些计算机 科学概念的商业实现。云计算的新颖之处在于它几乎可以提供无限的廉价存储 和计算能力。未来存储模式将改变目前的存储模式。不再存放在个人计算机及 服务器上 , 而是存放在云服务器中。同时所有的计算及处理工作也将在云服务器 完成。这样给企业及各厂商带来很多便利。节省了投入成本、企业能够很好的 应付突发的大访问量以及能够提供存储服务的同步升级和数据的有效管理。因 此，云计算在近年来赢得了众多厂商和企业的关注并得到长足的发展。 1. 云计算及其存储结构 1.1 云计算概念 云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟 化、负载均衡等传统计算机技术和网络技术发展融合的产物。它旨在通过网络 把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统 , 并 借助 SaaS、PaaS、IaaS 、MSP等先进的商业模式把这强大的计算能力分布到终 端用户手中。云计算的一个核心理念就是通过不断提高“云”的处理能力，进 而减少用户终端的处理负担。最终使用户终端简化成一个单纯的输入输出设备。 并能按需享受“云”的强大计算处理能力。也就是说用户端只需要进行输入输 出。其它所有计算、存储、处理等功能全部交给“云”去处理 , 用户可以根据自 己的需求订购“云”中的服务。 1.2 云计算的体系结构 在云计算体系结构中，用户的操作及存储等服务都由云中的各个服务器完 成。根据需求访问计算机和存储系统。用户的系统不需安装任何软件 , 数据也存 储在云的计算机及服务器中。图 1是云计算体系结构的模型。由用户端、服务目 录、系统管理、配置工具、 监控、服务器几个模块构成 , 各模块负责不同的功能。 用户端：用户与云系统交互的界面 , 用户通过用户端向云发出请求。 服务目录：显示该用户能够访问及操作的所有服务的目录列表，用户可以 在这些目录里进行选择操作。 系统管理 : 管理可分配给计算机的各种资源，从而保证负载平衡。 配置工具 : 用户通过配置工具在分配的服务器节点上配置需要的各种运行 环境。 监控：监控和计算云系统资源的使用情况 , 确保资源能顺利分配给合适的用 户。 服务器集合：云系统中的各个服务器的集合。 在云计算体系结构中，用户通过用户端访问服务目录，选择所需的服务； 当服务请求发送并验证通过后，由系统管理负责找到所需要的资源；用户通过 用户端在服务目录中选取调用一个服务，该命令传递到系统管理后，由系统管 理选取合适的节点。调用配置工具为用户准备运行环境。 1.3 云存储及其架构模型 1.3.1 云存储的定义 云存储指通过集群应用、网格技术或分布式文件系统等功能将网络中大量 各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据 存储和业务访问功能的一个系统。云存储可以简单的理解为云计算中的存储。 云存储系统可以认为是配置了大容量存储空间的云计算系统。用户所有的数据 都保存在“云”中，需要时从“云”中读取，本地不需要任何的存储设备。云 存储更准精确地说是一种服务，用户使用的是由许多个存储设备和服务器所构 成的集合体提供的数据访问服务。 1.3.2 云存储的架构模型 云存储系统主要用来进行数据存储与管理而且处理的数据都是超大规模 的。云存储系统是网络设备、存储设备、服务器、应用软件、公用访问接口、 接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心， 通过应用软件对外提供数据存储和业务访问服务。云存储模型与云计算模型相 比，增加了一个存储层，且基础管理层增加了与数据管理和数据安全有关的功 能。两者在访问层和应用接口层则是完全相同的。 存储层主要包括存储设备及存储设备管理系统。存储设备分布在不同地域， 彼此之间通过网络互联在