hadoop完全分布式模式安装和配置整理.pdfVIP

完全分布式模式安装和配置 目录 基础设备 1 虚拟机配置 2 复制虚拟机 11 配置 ssh 互信 13 配置 hadoop 15 下载 hadoop 15 解压 hadoop 15 分别修改 core-site.xml 、hdfs-site 以及 mapred-site.xml 16 配置 hadoop-env.sh 文件 16 修改 masters 和 slaves 文件。 17 向各节点复制 hadoop 目录 17 格式化分布式文件系统 18 启动守护进程 18 检测守护进程启动情况 18 基础设备 宿主机器： CPU：Intel? Core? i5-2400 CPU @ 3.10GHz 内存： 4G 硬盘： 500G 操作系统： Win7 32Bit Linux 版本： CentOS-6.2-x86_64-minimal.iso 虚拟机版本 VirtualBox 4.2.0 RC1 计划安装 3 个 CentOS 虚拟机，实现完整分布式模式。 h1,h2,h3 分别内存为 512M ，硬盘容量为 20G. 虚拟机配置 新建虚拟机。 内存预先设置为 1G，安装完成后调整为 512M 。1G 以上内存方可使用 GUI 安装。 加载 ISO 光盘镜像。 网络方式使用 桥接网卡 最为简单。 具体介绍： /group/topic / 配置完成后，直接启动该虚拟机。 跳过光盘检测。 下面是配置键盘与语言等选项，一路 next 下去，注意网络配置画面。 分区配置。 然后配置管理员密码等。 完成安装，重新启动虚拟机。 正常登录后，在 shell 命令中，输入 uname –r ，查看 Linux 版本内核。 输入 ifconfig eth0 查看是否正常获取 IP 地址，使用 ping 命令确认能否上网。 使用 yum update -y 命令将系统更新。 （163 下载的 ISO 自动在 163 的镜像上下载。 ） 时间较长！ 使用 yum install –y wget 将下载工具安装。 彻底关闭 Linux 中的 Iptables。 命令行中： service iptables stop chkconfig iptables off 一般 linux 中都已经开启了 ssh 功能。 下载随意 windows 下的 ssh 客户端，例如： Xshell、SecureCRT、PuTTY 、Xmanager 等。 登录后，使用此命令下载 JAVA JDK [root@h1 ~]# wget http:// 0/ jdk-7u7-linux-x64.rpm [root@h1 ~]# rpm -ivh jdk-7u7-linux-x64.rpm 安装 JAVA JDK 配置系统环境变量。 [root@h1 ~]# vi /etc/profile 添加 JAVA_HOME=/usr/java/jdk1.7.0 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH JAVA_HOME CLASSPATH [root@h1 ~]# java –version 测试是否成功。 新增运行的 hadoop 用户，并配置密码。 将 grid 添加到管理员组。 [root@h1 ~]# wget /apache/hadoop/common/hadoop-0.20.2 /hadoo