二零二三年 优质公开课hadoop单机版安装.pptx

hadoop单机版安装 实验环境说明 操作系统：Ubuntu16.04 JDK版本：1.8 Hadoop：版本 2.7.2 Vmware workstation：12.0 实验步骤 软件下载 安装操作系统并创建hadoop用户 安装JDK JDK环境变量配置 安装Hadoop 配置Hadoop 启动Hadoop服务 测试Hadoop服务 软件下载 下载 ubuntu16： /releases/16.04/release/ 创建用户hadoop 为操作系统添加hadoop用户并设置密码，之后对Hadoop的操作均由hadoop用户完成 创建hadoop用户： $ useradd hadoop  $ passwd hadoop 后续步骤安装软件目录 /home/hadoop/安装包 Hadoop的三种安装模式 单机模式standalone mode 在这种默认模式下配置文件是没有信息的，Hadoop完全运行在本地 该模式主要用于开发调试MapReduce程序的应用逻辑 伪分布式模式pseudo distributed mode Hadoop通过不同的java进程模拟多个节点，实现模拟的分布式配置 伪分布式模式适合初学者用于学习Hadoop的原理和基本使用方法 分布式（集群）模式distributed mode Hadoop安装在多个（3+）个节点的集群之上 分布式模式是Hadoop在实际生产应用中采用的模式 安装JDK 下载jdk-8u91-linux-x64.tar.gz，把离线包拷入到/home/hadoop/文件夹下,然后执行命令安装。 #su hadoop $cd /home/hadoop/ $tar -zxvf jdk-8u91-linux-x64.tar.gz $mv jdk1.8.0_91/ jdk1.8 配置JDK环境变量 安装完jdk后，需要配置环境变量，把java变成系统内命令 编辑/etc/profile文件来修改系统环境变量。 $ sudo vi /etc/profile 打开/etc/profile文件在文件中添加如下配置 export JAVA_HOME=/home/ hadoop/jdk1.8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH export JRE_HOME=$JAVA_HOME/jre $ source /etc/profile $ java -version 安装hadoop 下载解压hadoop安装包 下载hadoop安装包hadoop-2.7.2.tar.gz 下载路径： /repos/dist/release/hadoop/common/hadoop-2.7.2/ 将下载的文件拷贝到/home/hadoop目录中,执行命令进行安装  tar -xvf hadoop-2.7.2.tar.gz Hadoop配置 修改hadoop环境变量配置　 $sudo vi /etc/profile export HADOOP_HOME=/home/hadoop/hadoop-2.7.2  export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar  export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH  source /etc/profile 测试Hadoop $ hadoop version Hadoop事例 使用hadoop自带的hadoop-mapreduce-examples-2.7.2.jar对某目录下的文档进行单词数的统计 $ cd /home/hadoop/hadoop-2.7.2 $ mkdir input $ cp etc/hadoop/*.xml in