hadoop技术预研总结.docx

一．HADOOP hadoop安装配置 hadoop1.x安装 配置流程 初学hadoop，写下一些 学习过程 和 心得体会，希望能帮助到同样学习的兄弟们三台机器：分别为 master()，slave1()，slave2()master即为hadoop的Namenode节点，slave1和slave2为hadoop的Datanode节点注：以下操作均为root用户或root权限用户操作(本文章为root用户操作)1.设置机器名(在这里只要机器名不同就可以，不一定需要后缀域名)?? (1). hostname分别为：master.localdomain??? ? ? ? ? ? ? ?slave1.localdomain?? ? ? ? ? ? ? ?slave2.localdomain?? ? ? ?分别修改各机器/etc/sysconfig/network文件 ，使?? ? ? ? ? hostname=master.localdomain?? ? ? ? ? hostname=slave1.localdomain?? ? ? ? ? hostname=slave2.localdomain?? (2). 各机器/etc/hosts文件配置为?? ? ? ?# cat /etc/hosts?? ? ? ? master.localdomain ?master?? ? ? ? slave1.localdomain ?slave1?? ? ? ? slave2.localdomain ?slave2?? ? 注:以上机器各个机器名一定要不同，否则hadoop的raduce过程会出错，之所以各个机器名使用域名方式 ，是因为这样可以使 linux启动时 sendmain和ssclient进程启动更迅速些2.无密码登陆?? (1). ?本机无密码登陆(master)?? ? ?从master (Namenode)上无需密码ssh到各slave (Datanode)上,在master上执行如下命令：?? ? ?# ssh-keygen -t dsa -P -f ~/.ssh/id_dsa??? ? ?则在 /root/.ssh目录中生成了两个文件为：：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys。完成后可以实现无密码登录本机：$ ssh localhost。注意：authorized_keys权限为600?? (2). ?master (Namenode) 到slavle(DataNode)无密码登陆?? ? ? ?把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以 节点为例)：?? ? ? a. 拷贝NameNode 的id_dsa.pub 文件：?? ? ? ? ?$ scp id_dsa.pub root@:/root?? ? ? b. 登录，执行$ cat id_dsa.pub .ssh/authorized_keys?? ? ? 其他的dataNode 执行同样的操作。?? ? ? 注意：如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的authorized_keys：$ chmod 600 authorized_keys；.ssh文件夹为755权限。3.关闭linux防火墙，使其永久关闭防火墙??# chkconfig iptables off??# service iptables stop ?(如果只运行此一条命令，系统重启后防火墙将继续开启)4.安装JDK，配置JDK环境变量，过程略过 (此需要JDK1.6+版本)5.安装hadoop?? ?下载hadoop安装包，我下载的的为hadoop-0.20.0.tar.gz版本，解压即可(本人解压到/usr目录中)?? ? # tar -zxvf hadoop-0.20.0.tar.gz?? ? 配置hadoop环境变量,添加如下到/etc/profile中?? ? export HADOOP_HOME=/usr/hadoop-0.20.2?? ? export PATH=$HADOOP_HOME/bin:$PATH6.配置hadoop??hadoop 的主要配置都在hadoop-0.20.2/conf 下。??(1).在conf/hadoop-env.s