Apache-Hama框架简介.docx

Apache-Hama框架简介–BSP模型的实现 Hama概况 Hama是基于BSP(Bulk Synchronous Parallel)计算技术的并行计算框架，用于大量的科学计算（比如矩阵、图论、网络等）。BSP计算技术最大的优势是加快迭代，在解决最小路径等问题中可以快速得到可行解（/hama/Benchmarks）。同时，Hama提供简单的编程，比如flexible模型、传统的消息传递模型，而且兼容很多分布式文件系统，比如HDFS、Hbase等。用户可以使用现有的Hadoop集群进行Hama BSP. 现在Hama最新的版本为2012年6月31号发行的0.5.0.这是 Hama 做为 Apache 顶级项目后首次发布的版本，该版本包含两个显著的新特性，分别是消息压缩器和完整的 Google Pregel 克隆，另外在计算系统性能和可持续性上都得以提升。 Hama结构 Hama主要有三部分构成：BSPMaster 、GroomServers 和Zookeeper。与Hadoop结构很相似，但没有通信和同步机制的部分。 Hama的集群由一个BSPMaster和多个互不关联的GroomServer作计算结点组成，HDFS和Zookeeper都可以是独立的集群。启动从BSPMaster开始，如果是master会启动BSPMaster、GroomServer两个进程，如果只是计算结点则只会启动GroomServer，启动/关闭脚本都是Master机器远程在GroomServer机器上执行。 BSPMaster BSPMaster 即集群的主，负责了集群各GroomServer结点的管理与作业的调度，就我所知它还存在单点的问题。相当于Hadoop的JobTracker或HDFS的NameNode。其基本作用如下： 维持Groom服务器状态。 维护supersteps和集群中的计数器。 维护Job的进度信息。 调度作业和任务分配给Groom服务器 分配执行的类和配置，整个Groom服务器。 为用户提供集群控制接口（Web和基于控制台）。 GroomServer GroomServer是一个process，通过BSPMaster启动BSP任务。每一个Groom都有BSPMaster通信，可以通过BSPMaster获取任务，报告状态。GroomServer在HDFS或者其他文件系统上运行，通常，GroomServer与与数据结点在一个物理结点上运行，以保证获得最佳性能。 Zookeeper Zookeeper用来管理BSPPeer的同步，用于实现Barrier Synchronisation机制。在ZK上，进入BSPPeer主要有进入Barrier和离开Barrier操作，所有进入Barrier的Peer会在zk上创建一个EPHEMERAL的node（/bsp/JobID/Superstep NO./TaskID），最后一个进入Barrier的Peer同时还会创建一个ready node(/bsp/JobID/Superstep NO./ready)，Peer进入阻塞状态等待zk上所有task的node都删除后退出Barrier BSP Programming Model BSP(Bulk Synchronous Parallel，整体同步并行计算模型)是英国计算机科学家Viliant在上世纪80年代提出的一种并行计算模型。Google发布的一往篇论文(《Pregel: A System for Large-Scale Graph Processing》)使得这一概念被更多人所认识，据说在Google 80%的程序运行在MapReduce上，20%的程序运行在Pregel上。和MapReduce一样，Google并没有开源Pregel，Apache按Pregel的思想提供了类似框架Hama。 Hama BSP 是基于大容量同步并行模型，利用分布式节点计算大量步骤。通常，BSP程序包含一序列的superstep。每一个superstep包含三个步骤： Local computation Process communication Barrier synchronization Bulk Synchronous Parallel Model( HYPERLINK /wiki/Bulk_synchronous_parallel /wiki/Bulk_synchronous_parallel) Hama提供用户自定义的函数bsf()，通过bsf函数，用户可以编写自己的BSP程序，并且BSP程序可以控制整个程序的并行部分，意味着bsf函数不仅仅是程序普通的一部分。在0.2版本中，完成BSF函数，仅仅需