云计算的分布式计算框架讲解学习.pdf

云计算的分布式计算

框架

精品资料

思特奇分布式计算技术介绍

（V1.0）

北京神州数码思特奇信息技术股份有限公司

二〇二〇年八月

2

仅供学习与交流，如有侵权请联系网站删除谢谢

精品资料

文档信息

文档名称

电子文档MicrosoftWORD2003

文件状态□草稿□正式发布□正在修改

编写人日期2009年02月27日

校对人日期年月日

审核人日期年月日

批准人日期年月日

变更记录

变更变更变更前变更后生效

变更原因更改人批准人备注

序号页码版本号版本号日期

1文档建立0.1

1引言

框架中最核心的设计就是：MapReduce和HDFS。MapReduce就是“任务的分

解与结果的汇总”。HDFS是分布式文件系统，为分布式计算存储提供了底层支

持。

3

仅供学习与交流，如有侵权请联系网站删除谢谢

精品资料

MapReduce先将一个任务分解成为多个任务，“Reduce”就是将分解后多任

务处理的结果汇总起来，得出最后的分析结果。在分布式系统中，机器集群把

硬件看作资源池，将并行的任务拆分，然后交由每一个空闲机器资源去处理，能

够极大地提高计算效率，同时这种资源无关性，对于计算集群的扩展无疑提供

了最好的设计保证。分布式计算就好比蚂蚁吃大象，廉价的机器群可以匹敌任何

高性能的计算机。任务分解处理以后，那就需要将处理以后的结果再汇总起来，

这就是Reduce要做的工作。

2HDFS分布式文件系统

HDFS是分布式计算的存储基石，具有如下几个特点：

a)对于整个集群单一的命名空间。

b)数据一致性。适合一次写入多次读取的模型，客户端在文件没有被成功

创建之前无法看到文件存在。

c)文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而

且根据配置会由复制文件块来保证数据的安全性。

HDFS采用master/slave架构。一个HDFS集群由一个Namenode和一定数目

的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的

namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负

责管理节点上它们附带的存储。在内部，一个文件分成一个或多个block，这

些block存储在Datanode集合里。Namenode执行文件系统的namespace操作，

例如打开、关闭、重命名文件和目录，同时决定block到具体Datanode节点的

映射。Datanode在Name