Hadoop大数据处理技术基础与实践第二章 Hadoop 安装与配置管理.pptVIP

第2章 第#章 第2章 Hadoop 安装与配置管理 第2章 * 掌握集群安装过程原理 熟悉 SSH 免密码登录原理 了解 Hadoop 的关键配置选项 掌握动态管理节点方法 学习目标 第2章 * * 参考书 第2章 * * 准备与配置安装环境 第2章 * * 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可 以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机,复制后 自动修改网卡号和ip,非常快捷。如果只是实验用途,硬盘大约预留20-30G空间。 以Centos为例,分区可以选择默认,安装选项选择Desktop Gnome,以及Server、 Server GUI即可。其它Linux,注意选项里应包括ssh,vi(用于编辑配置文件),perl 等(有些脚本里包含perl代码需要解析) 到Oracle官网下载java jdk安装包,并且进行安装 集群的概念 第2章 * * 计算机集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通常通过局域网连接。 集群技术的特点： 通过多台计算机完成同一个工作。达到更高的效率 两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用 三种运行模式 第2章 * * 单机模式:安装简单,几乎不用作任何配置,但仅限于调试用途 伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktracker 、secondary namenode等5个进程,模拟分布式运行的各个节点 完全分布式模式:正常的Hadoop集群,由多个各司其职的节点构成 机器分配 第2章 * * 机器名　 伪分布式模式的安装和配置步骤 第2章 * * ?下载并解压Hadoop安装包 ?进入Hadoop的解压目录,编辑conf/hadoop-env.sh文件(注意不同版本后配置文件的位置有所变化) 编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件 配置ssh,生成密钥,使到ssh可以免密码连接localhost 格式化HDFS 使用bin/start-all.sh启动Hadoop 使用bin/stop-all.sh关闭Hadoop Step1:各服务器安装JDK 第2章 * * 上传jdk-6u24-linux-i586.bin（下载的jdk文件）到/home/ #cd /home/ #./jdk-6u24-linux-i586.bin #mv jdk-6u24-linux-i586.bin jdk #vi /etc/profile，在文件尾部添加 export JAVA_HOME=/home/jdk export PATH=$JAVA_HOME/bin:$PATH 保存退出 #source /etc/profile #java -version Step2:各服务器的网络设置 第2章 * * 修改机器名 #hostname 机器名 #vi /etc/sysconfig/network HOSTNAME=机器名 保存退出，重启 修改/etc/hosts 修改/etc/sysconfig/network-scripts/相应的网络配置 关闭防火墙 #service iptables stop ifcfg-eth0文件参考： DEVICE=eth0 BOOTPROTO=static ONBOOT=yes TYPE=Ethernet IPADDR=192.168.1.240 PREFIX=24 GATEWAY=192.168.1.1 hosts文件参考： 192.168.1.240 hadoop0 192.168.1.241 hadoop1 192.168.1.242 hadoop2 192.168.1.243 hadoop3 C:\WINDOWS\system32\drivers\etc\hosts Step3:SSH免密码登录 第2章 * * 从namenode到本身及各datanode免密码登录 在各机器上执行 #ssh-keygen -b 1024 -t rsa　一路回车 在~/.ssh/生成文件id_rsa id_rsa.pub 在namenode机器上执行： #cd ~/.ssh/ #scp id_rsa.pub root@各datanode的IP:/home 在各datanode机器上执行： #cd /home/ #cat id_rsa.pub /root/.ssh/authorized_ke