Hadoop大数据技术与项目实战 实训指导书——2.3.6 Hadoop客户端开发环境配置及Maven项目构建.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

HDFS客户端开发环境配置及测试

一、任务描述

本次实训完成Windows系统上的文件上传至HDFS。

首先配置Hadoop及Java的Windows环境变量，配置好后，打开IDEA编辑工具，

创建Maven项目，编写Java程序代码，代码功能是实现访问Hadoop集群，最终把

Windows系统中的文件上传到HDFS上。

二、能力目标

1.会配置Hadoop及Java的Windows环境变量

2.能正确将Windows系统中的文件上传至HDFS

三、任务准备

1.IDEA开发软件

2.软件安装包

（1）Hadoop安装包hadoop-3.3.0.tar.gz

（2）Windows的JDK安装包jdk-8u201-windows-x64.exe

3.启动HDFS集群

四、实操环节

1.Windows系统的Hadoop环境配置

在Windows环境中准备好Hadoop压缩包hadoop-3.3.0.tar.gz。右击解压软件进行

解压，选择以管理员身份运行。解压位置根据自己需要设置，此处设置为D:\hadoop，

如下图所示。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

解压结束，会生成hadoop-3.3.0文件夹，如下图所示。

进入hadoop-3.3.0文件夹，拷贝路径D:\hadoop\hadoop-3.3.0，如下图所示。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

右击“此电脑”，单击“属性”，单击“高级系统设置”，弹出系统属性对话框，单击“环境

变量”按钮，编辑系统变量，如下图所示。

在打开的环境变量窗口中，单击系统变量中的“新建”按钮，变量名输入HADOOP_

HOME，变量值输入D:\hadoop\hadoop-3.3.0，单击“确定”按钮，如下图所示。

3

山西职业技术学院《Hadoop大数据技术与项目实战》

在系统变量中双击Path，单击“新建”按钮，输入%HADOOP_HOME%\bin，单击“确定”

按钮，如下图所示。

再次单击确定按钮，关闭环境变量对话框。

进入到D:\hadoop\hadoop-3.3.0\bin目录，将课程资源中提供的winutils.exe及

hadoop.dll两个插件拷贝到bin目录中。

4

山西职业技术学院《Hadoop大数据技术与项目实战》

至此，Windows下的Hadoop环境配置就完成了。

2.Windows系统的Java环境配置

（1）安装JDK及JRE

首先安装Windows环境下的JDK，安装位置根据自己需要设定，此处设置为

D:\hadoop\Java\jdk1.8.0_201。双击运行jdk-8u201-windows-x64.exe，如下图所示。

单击下一步按钮，单击“更改”按钮，如下图所示。

5

山西职业技术学院《Hadoop大数据技术与项目实战》

在弹出的对话框中输入安装路径D:\hadoop\Java\jdk1.8.0_201\，单击“确定”按钮，如下图所

示。

在弹出的对话框中单击“下一步”，如下图所示。

6

山西职业技