[计算机软件及应用]Hadoop现场演示与编程过程.ppt

Hadoop现场演示与编程过程 朱军 刘锴 傅雷扬 安徽农业大学 主要内容 实验平台简介 Hadoop 环境搭建 MapReduce 编程 实验平台简介 采用XenServer分布式部署Hadoop 浪潮380D 5台虚拟机（CentOS） 采用VirtualBox分布式部署Hadoop PC 5台虚拟机（CentOS） Hadoop 环境搭建 Hadoop的三种部署模式 Hadoop完全分布式部署 HDFS节点故障演示 Hadoop 的三种部署模式 一、安装配置 Java环境 二、配置SSH免密码登录 三、安装配置Hadoop 1、安装jdk bin/jdk-6u27-x64.bin 2、修改环境变量 vim ~/.bash_profile JAVA_HOME=/usr/local/jdk1.6.0_27 export $JAVA_HOME $PATH=$PATH:$JAVA_HOME/bin 1、生成密钥 ssh-keygen -t rsa 2、拷贝密钥 ssh-copy-id -i ~/.ssh/id_rsa.pub root@remotehost 1、解压Hadoop 2、从src复制配置文件示例 3、修改hadoop-evn.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves property? namehadoop.tmp.dir/name? value/home/grid/hadoop/tmp/value #设定Hadoop临时目录? description /description? /property property? name/name? valuehdfs://:9100/value #设置文件系统路径 /property /configuration? property nameerval/name #节点间心跳检测间隔时间，默认10分钟 value1000/value /property property? namedfs.relplication/name ##HDFS的副本数，默认为3，如果DataNode的数量小于这个值会有问题? value2/value? /property property namedfs.permissions/name ##是否对dfs中的文件进行权限控制 valuefalse/value /property property?namemapred.job.tracker/name?value:9200/value ##设置MapReduce Job运行的主机和端口? /property masters：指定Secondnamenode的主机名 slaves：指定datanode/tasktracker的主机名 将Hadoop目录同步到所有节点服务器 格式化分布式文件系统 bin/hadoop namenode -format 2、关闭所有节点的防火墙及Selinux 3、在namenode上执行 bin/start-all.sh 4、查看进程运行情况 $JAVA_HOME/bin/jps HDFS状态： :50070/ MapReduce状态: :50030/ 查看文件系统情况: bin/hadoop dfsadmin -report 列出文件系统目录: bin/hadoop fs -ls hdfs://:9100/ 一、增加HDFS节点 1、新节点ip/hosts: 0 2、在新节点上安装Hadoop，配置应与NameNode一致 3、若永久填加该节点，可修改masters和slaves文件 4、临时填加节点，执行命令： bin/hadoop-daemon.sh datanode start 5、查看:50070，已变为4个live节点 二、新增节点故障演示 1、人为Kill掉新增节点的datanode进程 2、经过心跳检测时间后，查看:50070页面，新增节点消失 MapReduce 编程 MapReduce编程过程 编程实例：矩阵相乘 程序调试和发布 MapReduce编程过程 MapReduce编程过程 与输入相关的几个抽象类 与计算相关的几个抽象类 与输出相关的几个抽象类 其它重要类与接口 编程实例：矩阵相乘 实例：矩阵相乘 将问题分解成MapReduce作业 实例：矩阵相乘 输入阶段 实例：矩阵相乘 计算阶段 实例：矩阵相乘 输出阶段 程序调试和发布 程序调试 编写单元测试（Mockito）。 将调试语句记录到错误日志中。(StatusRepor