Hadoop分布式搭建.doc

Hadoop集群搭建 原料： Jdk1.6架包、三台服务器、hadooop1.2.1架包 结点名 Ip 作用 master 28 作为namenode结点 Slave1 29 作为datanode结点 Slave2 30 作为datanode结点 产品： 一个3结点hadoop集群 说明 ： 在分布式系统搭建中，各结点的配置基本相同，以下详细描述主结点的搭建步骤，并描述从结点的不同之处。 步骤： Hadoop运行先决环境条件： Java jdk1.6以上（本次安装以jdk1.6为例），ssh免密码登录，闭防火墙，将selinux设为disabled; Java运行环境： 将jdk架包 jdk-6u45-linux-x64.bin 上传到master机器上。 给包添加运行权限： $ chmod 777 jdk-6u45-linux-x64.bin $ ./jdk-6u45-linux-x64.bin 得到解压包jdk1.6.0_45 重命名jdk1.6.0_45 为jdk1.6 $mv jdk1.6.0_45 jdk1.6 将配置环境变量 切换用户到root 并对/etc/profile文件进行如下修改： #vim /etc/profile 点i键进行插入模式 在文件最后添加如下内容： #export jdk1.6 env JAVA_HOME=/home/hadoop/jdk1.6 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export JAVA_HOME export PATH export CLASSPATH 点键esc进入命令行模式 ：wq 进行保存。 # source /etc/profile 重新加载文件/etc/profile 验证java环境是否配置成功： #java -version 出现以下结果： java version 1.6.0_45 Java(TM) SE Runtime Environment (build 1.6.0_45-b06) Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode) Java环境配置成功。 ssh免密码登录： 在进行ssh免密码登录设置前做如下步骤： $hostname master 如果不是在roote用户在对文件/etc/sysconfig/network HOSTNAME=master $ifconfig #Vim /etc/hosts 编辑/etc/hosts 保存退出 进行正题，配置ssh免密码登录： 用root用户对配置文件：/etc/ssh/ssh_config 将注释掉的以下内容取消注释： $ssh-keygen -t rsa -P ‘’ Generating public/private rsa key pair. Enter file in which to save the key (/home/master/.ssh/id_rsa): （直接点Enter） The key fingerprint is: 01:c8:8a:b7:ea:fa:7d:e9:5e:e7:ad:3f:6f:33:74:0f root@hadoop The keys randomart image is: +--[ RSA 2048]----+ | . .. | | o . | | . . . | |. o . | | . . S | | . E .| | . .. . . o.| |. . o. o .. + .| |+o. .+o ooo+.o | +-----------------+ $cat .ssh/id_rsa.pub .ssh/authorized_keys $chmod 600 .ssh/authorized_keys 配置完成，验证是否成功 $ssh master The authenticity of host master (28) cant be established. RSA key fingerprint is a9:61:26:ed:63:2d:1f:41:75:86:3c:ca:72:62:08:26. Are you sure you want to continue connecting (yes/no)? yese^H^H Warning: