厦门大学林子雨大数据技术原理与应用上机练习图计算框架Hama的基础操作实践.docVIP

厦门大学 《》 ama的基础操作实践 主讲教师：林子雨 二零一年月 目录 1 作业题目 1 2 作业目的 1 3 作业性质 1 4 作业考核方法 1 5 作业提交日期与方式 1 6 作业准备 1 6.1、 Hama计算框架的安装配置 1 6.2、用Hama计算模型实现寻找最大独立集问题算法 3 7 作业内容 9 8 实验报告 9 附录1:任课教师介绍 9 附录2：课程教材介绍 10 《》框架 上机练习说明 主讲教师：林子雨 E-mail: ziyulin@ 个人主页：/linziyu 作业题目ama基础操作实践。 作业目的，regel的开源实现Hama一些基本操作。作业性质作业考核方法作业提交日期与方式 作业 请阅读厦门大学林子雨编著的大数据专业教材《大数据技术原理与应用》（官网：/post/bigdata/），了解图计算的概念与意义Hama计算框架安装配置Apache Hama是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。简单说，Hama是在HDFS上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。 安装好合适版本的jdk和hadoop，并且进行测试，保证他们能用。 2）. 下载hama安装文件，从/downloads.html处下载合适的版本，我当时下的是0.6.4版本的。 3）. 在用户主目录下创建合适的安装目录文件，我这里是在~下创建了hama文件夹作为安装目录，即~/hama为安装目录。 ?4）. 将下载好的hama-0.6.4.tar.gz拷贝到~/hama中去，并用tar zvxf hama-0.6.4.tar.gz进行解压。 ?5）. 进入hama-0.6.4中的conf文件夹，修改hama-env.sh文件，在其中加入java的home路径，即加入： EJAVA_HOME=/home/wanglianping/java/jdk.1.7.0_91 （?6）. 修改?hama-site.xml文件，这时hama配置的核心文件，具体内容如下： configuration? property? ? namebsp.master.address/name? ? value28:40000/value? ? descriptionThe address of the bsp master server. Either the? ? literal string local or a host:port for distributed mode? ? /description? /property? property? ? name/name? ? valuehdfs://28:9000//value? ? description? ? ? The name of the default file system. Either the literal string? ? ? local or a host:port for HDFS.? ? /description? /property?property?namehama.zookeeper.quorum/namevalue28/valuedescriptionComma separated list of servers in the ZooKeeper Quorum.? ? For example, ,,.? ? By default this is set to localhost for local and pseudo-distributed modes? ? of operation. For a fully-distributed setup, this should be set to a full? ? list of ZooKeeper quorum servers. If HAMA_MANAGES_ZK is set in hama-env.sh? ? this is the list of servers which we will start/stop zookeeper on.? ? /description/propertyproperty? ? nameperty.clientPort/name? ? value2181/value? /property/configuration 其中，bsp.master.address即bsp中的BSPMaster的地址和端口。这个值要特别注意，是hadoop中na