hadoop分布式环境搭建.docx

Hadoop主从结点分布式配置准备工作一个路由器，若干网线与机器，查看路由器网段，如为，若机器是Linux系统，可以直接配置，若为Windows系统，先装虚拟机、winSCP，然后CentOS解压导入虚拟机，并有jdk和Hadoop压缩包待用。检查局域网是否通，cmd-ping IP地址主节点1.设置ip地址【查看windows网络和共享中心-》更改适配器设置-》点击VMWare网络查看IP地址；然后在Linux中查看设置网络IP地址注意：点击VMWare网络查看到的IP地址可能不准确，可通过cmd-ipconfig校对】在虚拟机中打开CentOS，设置“网络适配器”为“桥接”后打开电源，点击两个电脑图标删除已有的，添加wried –Manul-Ipv4-05 -Apply2.Open in Terminal执行命令重启网卡： service network restart验证: ifconfig ( 要注意真实的IP地址，控制面板\网络和 Internet\网络连接 第一个网的IPV4，与它同一字段)关闭防火墙执行命令service iptables stop验证:service iptables status关闭防火墙的自动运行执行命令chkconfig iptables off验证:chkconfig --list | grep iptables设置主机名(重启生效)执行命令(1)hostname zn(2)vi /etc/sysconfig/network (hostname=zn)(重启虚拟机)ip与hostname绑定（添加全部节点的iP地址与主机名的对应关系）执行命令vi /etc/hosts 在打开的文本里加入 ip地址 主机名 同时也要在windows中即C:\Windows\System32\drivers\etc中增加所有的对应关系(00 zn)验证:ping zn设置ssh免密码登陆在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。执行命令(1)ssh-keygen -t rsa 使用此命令来创建公钥会问你存放目录 可以不修改 不用输入任何东西，只需按enter键(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys验证： ssh zn（通过ssh 节点名可进行任意切换）3.通过winSCP将jdk和Hadoop包复制到/usr/local下面安装jdk执行命令(1)cd /usr/local(2)chmod u+x jdk-6u24-linux-i586.bin(3)./jdk-6u24-linux-i586.bin(4)mv jdk1.6.0_24 jdk(5)vi /etc/profile 增加内容如下:export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH(6)source /etc/profile（使文件生效）验证:java -version安装hadoop ps：下面的操作也是在/usr/local目录下进行的执行命令(1)tar -zxvf hadoop-1.1.2.tar.gz(2)mv hadoop-1.1.2 hadoop(3)vi /etc/profile 增加内容如下: export JAVA_HOME=/usr/local/jdk export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH(4)source /etc/profile4.修改winSCP里usr/local/hadoop/conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml1.hadoop-env.shexport JAVA_HOME=/usr/local/jdk/2.core-site.xmlconfiguration property name/name valuehdfs://zn:9000/value descriptionchange your own hostname/description /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value /property /configur