安徽农业大学-朱军Hadoop现场演示与编程过程研讨.ppt

云计算可靠性研究组 */35 实例：矩阵相乘 输出阶段 MatrixReducer MultipleOutputFormat LineRecordWriter MultipleOutputFormat方法及调用关系： DataOutputStream.write(int b), … LineRecordWriter.write(K key, V value) MultiRecordWriter.write(K key, V value); MultipleOutputFormat extends FileOutputFormat .getRecordWriter(TaskAttemptContext job); 云计算可靠性研究组 */35 程序调试和发布 程序调试 编写单元测试（Mockito）。 将调试语句记录到错误日志中。(StatusReporter) 日志文件：分门别类存放在hadoop-version/logs目录下面，hadoop-username-service-hostname.log，尤其关注TaskTracker的log。 在单机上首先执行，看看是否能够正确执行，而后再在多机的集群系统上执行。 云计算可靠性研究组 */35 程序调试和发布 程序发布 打包 jar, Ant… 启动作业 hadoop jar job.jar MainClass input output JobTracker http://host:50030/jobtracker.jsp NameNode http://host:50070/dfshealth.jsp 云计算可靠性研究组 */35 MapReduce 运行状态 云计算可靠性研究组 */35 Hadoop Map/Reduce 运行状态 云计算可靠性研究组 */35 谢谢! * * 云计算可靠性研究组 云计算可靠性研究组 */35 Hadoop现场演示与编程过程 朱军 刘锴 傅雷扬 安徽农业大学 云计算可靠性研究组 */35 主要内容 实验平台简介 Hadoop 环境搭建 MapReduce 编程 云计算可靠性研究组 */35 实验平台简介 采用XenServer分布式部署Hadoop 浪潮380D 5台虚拟机（CentOS） 采用VirtualBox分布式部署Hadoop PC 5台虚拟机（CentOS） 云计算可靠性研究组 */35 采用XenServer分布式部署Hadoop 云计算可靠性研究组 */35 采用VirtualBox分布式部署Hadoop 云计算可靠性研究组 */35 Hadoop 环境搭建 Hadoop的三种部署模式 Hadoop完全分布式部署 HDFS节点故障演示 云计算可靠性研究组 */35 Hadoop 的三种部署模式 1、单机模式 2、伪分布式模式 3、完全分布式模式 云计算可靠性研究组 */35 IP/hosts: 6 7 8 9 0 Namenode/Jobtracker: Secendnamenode: datanode/tasktracker: New datanode: Hadoop完全分布式部署 云计算可靠性研究组 */35 完全分布式部署步骤 一、安装配置 Java环境 二、配置SSH免密码登录 三、安装配置Hadoop 云计算可靠性研究组 */35 安装配置JAVA 1、安装jdk bin/jdk-6u27-x64.bin 2、修改环境变量 vim ~/.bash_profile JAVA_HOME=/usr/local/jdk1.6.0_27 export $JAVA_HOME $PATH=$PATH:$JAVA_HOME/bin 云计算可靠性研究组 */35 配置SSH免密码登录 1、生成密钥 ssh-keygen -t rsa 2、拷贝密钥 ssh-copy-id -i ~/.ssh/id_rsa.pub root@remotehost 云计算可靠性研究组 */35 安装配置Hadoop 1、解压Hadoop 2、从src复制配置文件示例 3、修改hadoop-evn.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves 云计算可靠性研究组 */35 core-site-xml property? namehadoop.tmp.dir/name? value/home/grid/hadoop/tmp/value #设定Hadoop临时目录? description /description?