培训课程5深入浅出hadoop.ppt

典型配置 2个4核 2－2.5GHZ 16-14GB ECC RAM 4*1TB硬盘 千兆网络 ssh-copy-id -i ~/.ssh/fwolf_dsa.pub 修改hadoop-env.sh文件 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.access.file=$HADOOP_CONF_DIR/jmxremote_access -Dcom.sun.management.jmxremote.password.file=$HADOOP_CONF_DIR/jmxremote_access -Dcom.sun.management.jmxremote.port=8004 深入浅出hadoop 课程安排 掌握Hadoop集群的搭建过程** 了解集群管理的常用命令* 集群的副本管理机制** 集群的监控管理* 集群的概念 计算机集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通常通过局域网连接。 集群技术的特点： 通过多台计算机完成同一个工作。达到更高的效率 两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用。 集群模式安装步骤 (在伪分布模式下继续) 安装jdk 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 解压hadoop Hadoop集群搭建准备 机器名　 机器IP 用途 描述 hadoop0 40/24 namenode/secondaryNamenode/jobTracker 64位rhel6,jdk6 IntelC600 2*(Xeon E5-2620 2GHz)/64GB/12TB hadoop1 41/24 datanode/taskTracker 64位rhel6,jdk6 IntelC600 2*(Xeon E5-2620 2GHz)/64GB/12TB hadoop2 42/24 datanode/taskTracker 64位rhel6,jdk6 IntelC600 2*(Xeon E5-2620 2GHz)/64GB/12TB hadoop3 43/24 datanode/taskTracker 64位rhel6,jdk6 IntelC600 2*(Xeon E5-2620 2GHz)/64GB/12TB Step1:各服务器安装JDK6 上传jdk-6u24-linux-i586.bin到/home/ #cd /home/ #./jdk-6u24-linux-i586.bin #mv jdk-6u24-linux-i586.bin jdk #vi /etc/profile，在文件尾部添加 export JAVA_HOME=/home/jdk export PATH=$JAVA_HOME/bin:$PATH 保存退出 #source /etc/profile #java -version Step2:各服务器的网络设置 修改机器名 #hostname 机器名 #vi /etc/sysconfig/network HOSTNAME=机器名 保存退出，重启 修改/etc/hosts 修改/etc/sysconfig/network-scripts/相应的网络配置 关闭防火墙 #service iptables stop hosts文件参考： 40 hadoop0 41 hadoop1 42 hadoop2 43 hadoop3 C:\WINDOWS\system32\drivers\etc\hosts ifcfg-eth0文件参考： DEVICE=eth0 BOOTPROTO=static ONBOOT=yes TYPE=Ethernet IPADDR=40 PREFIX=24 GATEWAY= Step3:SSH免密码登录 从namenode到本身及各datanode免密码登录 在各机器上执行 #ssh-keygen -b 1024 -t rsa　一路回车 在~/.ssh/生成文件id_rsa id_rsa.pub 在namenode机器上执行： #cd ~/.ssh/ #scp id_rsa.pub root@各datanode的IP:/home 在各datanode机器上执行： #cd /home/ #cat id_rsa.pub /root/.ssh/authorized_keys 　　Hadoop运行过程