Hadoop平台搭及实例运行 (自测版).docVIP

Hadoop平台搭建及实例运行 本文搭建hadoop平台的硬件环境是虚拟机上安装2个ubuntu系统，具体信息如下： 表1.平台硬件环境 名字 操作系统 IP地址 内存 ubuntu2 Ubuntu 8.04 192.168.28.130 20G ubuntu3 Ubuntu 8.04 192.168.28.131 20G 注：本文中红色部分表示在终端输入的关键命令。 一、平台搭建 1.安装必需软件 (1)安装java $ sudo apt-get install SUN-java5-jdk 系统会自动分析软件的依赖关系，并推荐安装下列相关软件： java-common odbcinst1debian1 sun-java5-bin sun-java5-demo sun-java5-jdk sun-java5-jre unixodbc 安装过程中需要回答是否同意使用协议,此时按tab键至OK，再按回车即可正常安装。 安装完这三个之后还需要写入系统变量： $ sudo vi /etc/environment 写入下面两行内容： CLASSPATH=.:/usr/lib/jvm/java-1.5.0-sun/lib JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun 还要将系统虚拟机的优先顺序也调整一下： $ sudo vi /etc/jvm 将下面一句写在最顶部： /usr/lib/jvm/java-1.5.0-sun 测试 接下来在终端中输入命令： $java -version 终端如果返回以下信息： 图1-1.Java版本信息 则说明java已经安装好了。 (2)安装其它软件 $ sudo apt-get install ssh $ sudo apt-get install rsync 注：在每个节点上都要执行以上相同的过程。 2.系统配置 （1）修改主机名 root@ubuntu3:/hadoop$ sudo vi /etc/hostname 把新的主机名写入hostname即可，这里我写入： ubuntu3 （2）修改hosts文件 root@ubuntu3:/hadoop$ sudo vi /etc/hosts 将以下内容添加到该文件中： 127.0.1.1 ubuntu3 192.168.28.130 ubuntu2 192.168.28.131 ubuntu3 注：把第一行的127.0.0.1 localhost用#注掉 配置ssh Hadoop启动以后，Namenode通过SSH来启动和停止各个节点上的各种守护进程，需要在节点之间执行指令的时候是不输入密码，所以需要用无密码公钥认证的方式配置SSH。本实验中以ubuntu3为主节点namenode，它要通过SSH连接到datanode节点(ubuntu2)。对于SSH服务来说，namenode是客户端，datanode是服务端。 生成密钥对 root@ubuntu3:~/.ssh$ ssh-keygen -t rsa #该命令在ubuntu3上生成一个私钥和一个公钥。公钥放到服务端(datanode)去，私钥留在客户端(namenode)。 将公钥写入authorized_keys文件中，这里还没有这个文件所以直接复制过去。 root@ubuntu3:~/.ssh$ cp id_rsa.pub authorized_keys 将uthorized_keys文件网络复制到所有datanode的上相同目录下面。 root@ubuntu3:~/.ssh$ scp authorized_keys ubuntu2:/root/.ssh/ 测试ssh root@ubuntu3:~/.ssh$ ssh ubuntu3 图1-2.ssh测试 该图说明ssh已经正确配置好了，不需要输入密码。 尝试在namenode登陆datanode： root@ubuntu3:~/.ssh$ ssh ubuntu2 （4）建立namenode存储目录及数据目录 ptz@ubuntu3:/hadoop$ sudo mkdir name ptz@ubuntu3:/hadoop$ sudo mkdir data （5）目录结构 Hadoop要求所有结点上Hadoop的目录结构要相同，并且都有一个相同的用户名的帐户。Hadoop源码存放的目录：usr/local/hadoop 3.hadoop配置 直接将下载好的源码包复制到/usr/local下解压并将文件名改为hadoop $ sudo tar zxvf hadoop-0.17.2.1.tar.gz $ mv hadoop-0.17.2.1 hado