Hadoop的安装.doc

Hadoop的安装 一、Hadoop伪分布式模式安装过程：（windows） 适用于WIndows2000 ，Windows XP hadoop4win（hadoop for windows）：主要提供Windows平台上简易安装hadoop的批次安装档。 主要软件： 1）Cygwin——类似于LInux环境的精简版； 2）JDK 1.6.0 u18——Java环境 3）Hadoop 0.20.2 安装包下载： 1）0.1.3 alpha:/hadoop4win/hadoop4win-setup-full_0.1.3.zip； 2）0.1.2 alpha：/hadoop4win/hadoop4win-setup-full_0.1.2.zip； 3）0.1.0 alpha：/hadoop4win/hadoop4win-setup-full_0.1.0.zip； 解压后，双击执行hadoop4win-setup，默认的安装目录是C:/hadoop4win ；可以修改相应的选项。一开始会弹出CygWin下载安装窗口，点击“下一步”开始安装；接着自动批次程式将会把Hadoop单机版所需的Java开发环境和Hadoop压缩档拷贝到安装目录。 安装完成后会自动进入CygWin视窗。此时，可以输入命令【hadoop4win-init】： 此初始化指令将会进行JDK与Hadoop解压缩动作；最后将执行Hadoop Namenode的格式化。 按下任意键，会依次启动Hadoop Name Node，Data Node，Job Tracker , Task Tracker; 并使用预设浏览器依次开启http://localhost:50030（namenode） http://localhost:50060（TaskTracker） http://localhost:50070（JobTracker） 、Hadoop的分布式模式安装过程：（Ubuntu Linux） 1、集群环境介绍 ?????集群环境中有三个结点，其中1个namenode，2个datanode，它们之间分布在局域网中，相互之间可以ping通。具体的IP地址为： ??? namenode：8 ??? datanode1：1 ??? datanode2：6 ??? 三台结点计算机都是Ubuntu Linux 系统，是在Virtual Workstation6.5中的虚拟机，并且都有一个相同的用户quinty（安装系统时的首个用户，具有管理员的权限），在/home/quinty目录下均有一个hadoopinstall目录，用于存放hadoop-0.20.2安装文件，hadoop的整个目录结构是/home/quinty/hadoopinstall/hadoop-0.20.2。 2、准备工作 1）ssh无密码验证配置 ????? Hadoop需要使用ssh协议，namenode使用ssh协议启动namenode和datanode进程，为使Hadoop集群能够正常启动，需要在namenode和datanode结点之间设置ssh无密码验证。 ?? A.安装和启动ssh协议（所有机器上） ????? $sudo apt-get install ssh? （安装ssh） ????? $sudo apt-get install rsync ????? $ssh sudo /etc/init.d/ssh restart? （启动ssh）? ???????执行完毕，机器之间可以通过密码验证相互登录。 ?? B.生成密码对（所有机器） ????? ~$ssh-keygen -t rsa??? //将在~/.ssh 目录下生成私钥id_rsa和公钥id_rsa.pub ????? ~$chmod 755 .ssh ?? C.在namenode结点上做配置 ???? ~/.ssh$cp id_rsa.pub authorized_keys?????? //namenode的公钥 ???? ~/.ssh$scp authorized_keys data结点的ip地址:/home/quinty/.ssh?? //namenode 可以无密码登录所有datanode结点（ssh ip地址? 验证） ??? D.在datanode结点上做配置 ???? ~/.ssh$scp id_rsa.pub 8:/home/quinty/.ssh/datanode 的ip地址.id_rsa.pub ???? 然后在namenode中， ???? ~/.ssh$cat datanode 的i