云计算技术实验课第一阶段实验考核(new).docxVIP

《云计算技术实验课》第一阶段实验考核 总体安排（注意问答考核环节，537分前后门进，按学号顺序，每次每个班两个人，一人等候）： 12级计算机1-2班 8：00-8：40 上机考核，地点538 12级计算机3-4班 8：40-9：20 上机考核，地点538 12级计算机5-6班 9：20-10：00 上机考核，地点538 12级计算机5班 8：00-9：00 问答考核，地点537（前门） 12级计算机6班 8：00-9：00 问答考核，地点537 （后门） 12级计算机1班 9：00-10：00 问答考核，地点537（前门） 12级计算机2班9：00-10：00 问答考核，地点537 （后门） 12级计算机3班 10：00-11：00 问答考核，地点537 （前门） 12级计算机4班10：00-11：00 问答考核，地点537 （后门） 备注：问答环节比较耗时间，估计没办法提前，上机考核提前完成的同学就在走廊或者532等候。 第一部分：上机配置和运行程序（四选一的各自的选择的程序）（占总评40分） 要求：40分钟内运行成功，可以看到正确结果。 地点：538 注意：已经帮大家把以下两个步骤做好并克隆到每台机： 已经复制Java文件夹到C盘根目录 Hadoop文件已经解压到 C:/cygwin/home/用户名 目录下 第二部分：共8道候选题目，分两类，一和二各抽1道。（占总评20分） 时间：每人约2分钟 题目： 一、配置（4道抽1道） 1、为什么主机要发送自己的密钥到集群的机子上面？ 答：为了实现基于ssh协议的集群传送文件无需密码，因为hadoop集群运行的时候会涉及到大量的文件传输。 2如何检查Namenode是否正常运行？以及如何重启Namenode？ 答：用jps可以检查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作。 执行bin/stop-all.sh命令和bin/start-all.sh命令，可重启Namenode。 3、namenode格式化两次以上可能会出现什么问题？为什么？ 答：可能导致datanode启动不成功。原因：由于namenode namespaceID 和datanode namespaceID 不一致造成原因。 4、多机模式下，如何查看系统状态和HDFS系统 答：查看状态：在浏览器输入主机ip:50030，HDFS：主机ip:50070 二、MapReduce 数据流及代码理解 要求：根据给出的各自选择的程序（四选一）的流程图中指定的key, value，在相应代码（不带注释）中指出产生该key, value的代码部分，并做简要说明 [参考例子]单词计数例子中Map和Reduce过程的数据流，以及相应代码注释（产生数据流中各key, value的对应代码） 输入输出： 数据流中的各key, value： 数据流中各key, value（简称k,v）的对应代码： pack package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.log4j.Logger; /** * * 描述：WordCount explains by York * @author Hadoop Dev Group */ public class WordCount { /** * 建立Mapper类TokenizerMapper继承自泛型类Mapper * Mapp