hadoop+spark配置手册 - v3.docxVIP

第一章：Hadoop 2.6.1伪分布式配置手册第一步：安装虚拟机环境虚拟机环境：VMware workstation 8.0 Centos 6.5文件资源：安装过程中所需要的Centos, Jdk, Hadoop包等可以在如下地址获取14/虚拟机安装：由于机器性能和内存所限，安装虚拟机的时候请调低内存大小，建议调至512M。在安装Centos系统时请选择命令行模式，尽量不要以图形界面安装，要不然在做虚拟机集群的时候会很卡。关闭防火墙：用chkconfig iptables off 命令关linux掉防火墙配置虚拟机网络访问方式重启系统启动网卡：在虚拟机安装好CentOS后，网卡默认没有启动。通过“ ifup eth0 ” 命令启动网卡（如果你的网卡不是eth0, 则选则相应网卡）以便后续通过ssh 工具将安装文件从windows 主机传至虚拟机第二步: 创建Hadoop 用户使用groupadd创建一个的组 hadoop 命令：groupadd hadoop向hadoop组中加入hadoop用户：useradd –g hadoop 和hadoop创建hadoop 组用户密码：第三步：配置SSH无密码登录(/article/2fb0ba4043124a00f2ec5f0f.html)在root 用户下修改/etc/ssh/sshd_config，将其中三行的注释去掉，如下所示：切换至hadoop 用户下，用”ssh-keygen -t rsa” 命令生成密钥对：ssh-keygen -t rsa -P 切换到cd /home/hadoop/目录，修改 .ssh文件夹权限为700chmod 700 .ssh 进入.ssh目录cd /.ssh 生成authorized_keys并将其权限设为600用ssh localhost 测试结果 (CentOS 6.5 装好以后没有ssh-client，所以还需下载并安装ssh-client才能运行ssh 命令yum install openssh-clients)第四步：安装JDK在root 用户下安装JDK，安装好的jdk 在/usr/java下配置环境变量：在/etc/profile中加入两个新的变量JAVA_HOME和PATH#Add envirable for jdk and hadoopJAVA_HOME=/usr/java/jdk1.7.0_71PATH=$PATH:$JAVA_HOME/bin执行source /etc/profile验证环境变量：第五步：安装Hadoop在root用户下将hadoop 文件解压到 /usr/local 下.tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local/将hadoop 用户赋予解压后的hadoop 文件chown -R hadoop:hadoop hadoop-2.6.1修该hadoop文件的权限为775chmod –R 755 hadoop-2.6.1修改环境变量JAVA_HOME=/usr/java/jdk1.7.0_71$JAVA_HOME/bin:$PATHHADOOP_HOME=/usr/local/hadoop-2.6.1PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/Sbin在/var 下创建hadoop 文件夹用于保存节点数据文件，同时将hadoop组用户赋予该文件夹并将其权限改为775修改hadoop 环境变量文件分别在如下两个文件中，添加环境变量设置：${HADOOP_HOME}/etc/hadoop/hadoop-env.sh${HADOOP_HOME}/etc/hadoop/yarn-env.sh注明：HADOOP_HOME就是安装hadoop的文件夹，在本示例中即代表”/usr/local”配置设置如下：export JAVA_HOME=/usr/java/jdk1.7.0_75export HADOOP_HOME=/usr/local/hadoop-2.5.1export HADOOP_LOG_DIR=/var/hadoop/logsexport HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/nativeexport HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/libexport JAVA_HOME=/usr/java/jdk1.7.0_71export HADOOP_HOME=/usr/local/hadoop-2.6.1export HADOOP_LOG_DIR=/var/hadoop/logsexport H