Hadoop 多节点集群.pdf

Hadoop 多节点集群 本章介绍了分布式环境中Hadoop多节点集群的设置。 由于整个集群⽆法演⽰，我们 使⽤三个系统 （⼀个主节点和两个从节点）解释 Hadoop集群环境;下⾯给出他们的IP地址。 Hadoop Master ：5 （hadoop-master ） Hadoop Slave ：6 （hadoop-slave-1） Hadoop Slave ：7 （hadoop-slave-2 ） 按照以下步骤进⾏Hadoop多节点群集设置。 安装Java Java是Hadoop 的主要先决条件。⾸先，您应该使⽤“j ava -vers on”验证系统中是否存在 j ava 。 j ava版本命令的语法如下。 $ java -version 如果⼀切正常，它会给你以下输出。 java version 1.7.0_71 Java(TM) SE Runtime Environment (buil 1.7.0_71-b13) Java HotSpot(TM) Client VM (buil 25.0-b02, mixe mo e) 如果系统中没有安装j ava ，请按照给定的步骤安装j ava 。 步骤1 通过访问以下链接下载j ava （JDK - X64 .tar .gz ）http://www .oracle .com/technetwork/j ava/j avase/downloads/jdk7-downloads- 1880260 .html 然后 j dk-7u71-linux-x64.tar.gz 下载到您的系统。 第2步 通常你会在下载⽂件夹中找到下载的j ava⽂件。使⽤以下命令验证它并解压缩j dk- 7u71-linux-x64.gz⽂件。 $ c Downloa s/ $ ls j k-7u71-Linux-x64 .gz $ tar zxf j k-7u71-Linux-x64 .gz $ ls j k1.7.0_71 j k-7u71-Linux-x64 .gz 第3步 要使j ava可⽤于所有⽤户，您必须 其移动到位置“/ usr / local /” 。打开根⽬录，然后 键⼊以下命令。 $ su passwor : # mv j k1.7.0_71 /usr/local/ # exit 第4步 要设置PATH和JAVA HOME变量，请 以下命令添加到〜/ .bashrc⽂件。 export JAVA_HOME=/usr/local/j k1.7.0_71 export PATH=PATH:$JAVA_HOME/bin 现在如上所述从终端验证j ava -version命令。按照上述过程并在所有集群节点中安装 j ava 。 创建⽤户帐户 在主系统和从系统上创建系统⽤户帐户以使⽤Hadoop安装。 # usera ha oop # passw ha oop 映射节点 您必须在所有节点上的/ etc / folder 中编辑hosts⽂件，指定每个系统的IP地址，后跟其 主机名。 # vi /etc/hosts enter the following lines in the /etc/hosts file. 09 ha oop-master 45 ha oop-slave-1 ha oop-slave-2 配置基于Key 的登录 在每个节点中设置ssh ，以便它们可以彼此通信，⽽不需要提⽰输⼊密码。 # su ha oop $ ssh-keygen -t rsa $ ssh-copy-i -i ~/ .ssh/i _rsa.pub tutorialspoint@ha oop-master $ ssh-copy-i -i ~/ .ssh/i _rsa.pub ha oop_tp1@ha oop-slave-1 $ ssh-copy-i -i ~/ .ssh/i _rsa.pub ha oop_tp2@ha oop-slave-2 $ chmo 0600 ~/ .ssh/authorize _keys $ exit Hadoop安装 在主服务器中，使⽤以下命令下载并安装Hadoop 。 # mk ir /opt/ha oop # c /opt/ha oop/ # wget .ar/ha oop/common/ha oop-1.2.1/ha oop # tar -xzf ha oop-