hadoop入门-分布式hadoop安装.docVIP

一:准备 4台集群的机器. 1 2 3 4 root账号修改 4台机器的 /etc/hosts 文件,添加如下: 1 hadoop1 #namenode+job 2 hadoop2 #datanode 3 hadoop3 # datanode 4 hadoop4 # datanode 在每台服务器上创建4个一样的hadoop用户: useradd hadoop #加用户 passwd hadoop #修改密码 二:创建SSH免密码登录 hadoop 账号在namenode节点上,查看 ssh localhost 是否是免密码的,如果不是,执行下面命令: 生成公钥密钥: ssh-keygen -t dsa -P -f ~/.ssh/id_dsa 执行完成之后,会在 ~/.ssh/ 下生成 id_dsa.pub 和 id_dsa 把 id_dsa.pub 文件内容复制到 authorized_keys 文件里: cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 执行完成后会在 ~/.ssh/ 下生成 authorized_keys 删除 id_dsa.pub 文件: rm –rf id_dsa.pub 将 authorized_keys复制到各个datanode节点上: 在各个子节点上创建 .ssh 文件夹:mkdir /home.hadoop/.ssh 将证书文件拷贝到各台机器上(会???示输入密码): scp authorized_keys hadoop2:/home/hadoop/.ssh/ scp authorized_keys hadoop3:/home/hadoop/.ssh/ scp authorized_keys hadoop4:/home/hadoop/.ssh/ 将各个datanode 节点下的 .ssh 权限改成 700, authorized_keys 改成600 改完后应该就差不多可以了,在 hadoop1 机器上 依次执行: ssh hadoop2 ,ssh hadoop3 , ssh hadoop4, 如果都不用密码的话,表是成功. 三:安装jdk 用root账号安装,可以下载个bin文件,我的是 jdk-6u23-linux-i586-rpm.bin , 直接 ./ jdk-6u23-linux-i586-rpm.bin 安装, 默认路径在 /usr/java/jdk1.6.0_23/ 下,4台机器都一样,注意点:安装的路径一定要一样. 四:安装配置Hadoop 用hadoop账号,下载 hadoop-.tar.gz ,放在 /home/hadoop/ 下, 修改 hadoop-.tar.gz 权限: chmod 700 hadoop-.tar.gz 解压: tar zxvf hadoop-.tar.gz ,完成后会生成 hadoop- 目录,进入hadoop-/conf/ 下 按照如下方式修改下面文件: Namenode配置: core-site.xml: ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property namehadoop.tmp.dir/name value/tmp/hadooptmp/value descriptionA base for other temporary directories./description /property property name/name valuehdfs://hadoop1:9000/value descriptionThe name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uris scheme determi nes the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uris aut