hadoop伪分布模式安装.pptx

hadoop伪分布模式安装 实验环境说明 操作系统：Ubuntu16.04 JDK版本：1.8 Hadoop：版本 2.7.2 Vmware workstation：12.0 软件下载 下载 ubuntu16： /releases/16.04/release/ 创建用户hadoop 为操作系统添加hadoop用户并设置密码，之后对Hadoop的操作均由hadoop用户完成 创建hadoop用户： $ adduser hadoop 后续步骤安装软件目录 /home/hadoop/安装包 Hadoop的三种安装模式 单机模式standalone mode 在这种默认模式下配置文件是没有信息的，Hadoop完全运行在本地 该模式主要用于开发调试MapReduce程序的应用逻辑 伪分布式模式pseudo distributed mode Hadoop通过不同的java进程模拟多个节点，实现模拟的分布式配置 伪分布式模式适合初学者用于学习Hadoop的原理和基本使用方法 分布式（集群）模式distributed mode Hadoop安装在多个（3+）个节点的集群之上 分布式模式是Hadoop在实际生产应用中采用的模式 安装JDK 下载jdk， hadoop2.7.2不再支持jdk1.6及以下版本，把离线包拷入到/home/hadoop/文件夹下,然后执行命令安装。 #su hadoop $cd $tar -zxvf jdk-8u91-linux-x64.tar.gz $mv jdk1.8.0_91/ jdk1.8 配置JDK环境变量 安装完jdk后，需要配置环境变量，把java变成系统内命令 编辑.profile文件来修改系统环境变量。 export JAVA_HOME=/home/hadoop/jdk1.8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH export JRE_HOME=$JAVA_HOME/jre $ source .profile $ java -version 安装hadoop 下载解压hadoop安装包 下载hadoop安装包hadoop-2.7.2.tar.gz 下载路径： /repos/dist/release/hadoop/common/hadoop-2.7.2/ 将下载的文件拷贝到/home/hadoop目录中,执行命令进行安装  tar -xvf hadoop-2.7.2.tar.gz 配置ssh免密码登录 hadoop的进程之间通信使用ssh方式，为了实现自动化操作，需要配置ssh免密码登陆方式。 生成公钥、私钥对 su – hadoop $ssh-keygen -t rsa 将公钥追加到authorized_keys文件中： cat .ssh/id_rsa.pub .ssh/authorized_keys 安装hadoop 下载解压hadoop安装包 下载hadoop安装包hadoop-2.7.2.tar.gz 下载路径： /repos/dist/release/hadoop/common/hadoop-2.7.2/ 将下载的文件拷贝到/home/hadoop目录中,执行命令进行安装  tar -xvf hadoop-2.7.2.tar.gz Hadoop配置 修改hadoop环境变量配置　 $sudo vi /etc/.profile export HADOOP_HOME=/home/hadoop/hadoop-2.7.2 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar  export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH   配置hadoop集群 配置之前，