云计算基础知识归纳.docVIP

由于云计算分为 IaaS、PaaS和 SaaS三种类型，不同的厂家又提供了不同的解决方案，目前 还没有一个统一的技术体系结构， 对读者了解云计算的原理构成了障碍。 为此， 本文综合不 同厂家的方案， 构造了一个供商榷的云计算体系结构。 这个体系结构如图 3 所示， 它概括了 不同解决方案的主要特征， 每一种方案或许只实现了其中部分功能， 或许也还有部分相对次 要功能尚未概括进来。 图 3 云计算技术体系结构 云计算技术体系结构分为 4 层：物理资源层、资源池层、管理中间件层和 SOA 构建层，如 图 3 所示。物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大 量相同类型的资源构成同构或接近同构的资源池， 如计算资源池、 数据资源池等。 构建资源 池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下 2000 个 服务器、 解决散热和故障节点替换的问题并降低能耗； 管理中间件负责对云计算的资源进行 管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务； SOA 构建 层将云计算能力封装成标准的 Web Services 服务，并纳入到 SOA 体系进行管理和使用，包 括服务注册、 查找、 访问和构建服务工作流等。 管理中间件和资源池层是云计算技术的最关 键部分， SOA 构建层的功能更多依靠外部设施提供。 云计算的管理中间件负责资源管理、 任务管理、 用户管理和安全管理等工作。 资源管理负责 均衡地使用云资源节点， 检测节点的故障并试图恢复或屏蔽之， 并对资源的使用情况进行监 视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象 (Image)的部署 和管理、任务调度、 任务执行、 任务生命期管理等等；用户管理是实现云计算商业模式的一 个必不可少的环节， 包括提供用户交互接口、 管理和识别用户身份、 创建用户程序的执行环 境、对用户的使用进行计费等； 安全管理保障云计算设施的整体安全， 包括身份认证、 访问 授权、综合防护和安全审计等。 基于上述体系结构，本文以 IaaS 云计算为例，简述云计算的实现机制，如图 4 所示。 用户交互接口向应用以 Web Services 方式提供访问接口， 获取用户需求。 服务目录是用户可 以访问的服务清单。 系统管理模块负责管理和分配所有可用的资源， 其核心是负载均衡。 配 置工具负责在分配的节点上准备任务运行环境。 监视统计模块负责监视节点的运行状态， 并 完成用户使用节点情况的统计。 执行过程并不复杂： 用户交互接口允许用户从目录中选取并 调用一个服务。 该请求传递给系统管理模块后， 它将为用户分配恰当的资源， 然后调用配置 工具来为用户准备运行环境。 Hadoop HDFS 特性简介 一、设计思想 1、硬件失效是“常态事件“，而非“偶然事件”。 HDFS可能是有上千的机器组成（文档中 描述的 Yahoo!一个 Hadoop集群有 4096 个节点），任何一个组件都有可能一直失效，因此 数据的健壮性错误检测和快速、自动的恢复是 HDFS的核心架构目标。 2、 流式数据访问。 运行在 HDFS上的应用和普通的应用不同， 需要流式访问它们的数据集。 HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟 问题，更关键的在于数据并发访问的高吞吐量。 POSIX标准设置的很多硬性约束对 HDFS应 用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对 POSIX 的语义做了一些修 改。 3、 HDFS应用对文件要求的是 write-one-read-many 访问模型。一个文件经过创建、写， 关闭之后就不需要改变。 这一假设简化了数据一致性问题， 使高吞吐量的数据访问成为可能。 典型的如 MapReduce框架，或者一个 web crawler 应用都很适合这个模型。 4、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就 越高效， 这在数据达到海量级别的时候更是如此。 将计算移动到数据附近， 比之将数据移动 到应用所在显然更好， HDFS提供给应用这样的接口。 5、在异构的软硬件平台间的可移植性。 二、Namenode和 Datanode 的划分 一个 HDFS集群有一个 Namenode和一定数目的 Datanode 组成。 Namenode是一个中心服务器，负责管理文件系统的 namespace 和客户端对文件的访问。 Datanode 在集群中会有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带 的存储。在内部，一个大文件其分成一个或多个 block ，这些 block 存储在 Datanode 集合 里。Namenode执行文件系统的 namespa