Hadoop大数据技术与项目实战 实训指导书——2.3.7 HDFS API基本操作.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

HDFSAPI基本操作实训指导书

一、任务描述

HDFSAPI的操作有很多，本任务主要实现以封装的方式以及流的方式，将文件从

Winodws系统中上传至HDFS，以封装的方式以及以流的方式将文件从HDFS下载到

Windows系统中，需要上传的文件以HadoopClientTest工程中创建的test.txt文件为例。

二、能力目标

1.能实现HdfsClientAPI类中各个方法的功能

2.能理解每个方法的代码含义

三、任务准备

1.IDEA开发软件

2.启动HDFS集群

四、任务实施

1.编写获取及释放HDFS客户端对象的方法

打开IDEA软件打开HadoopClientTest工程，右击com.bigdata目录，选择“New”

菜单项中的“JavaClass”子菜单项，在弹出的对话框中输入“HdfsClientAPI”，回车，新建

HdfsClientAPI类，如下图所示。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

图***新建HdfsClientAPI类

为实现上传下载功能，需要在HdfsClientAPI类中创建getFileSystem和

closeFileSystem两个方法。getFileSystem方法的功能是获取HDFS客户端对象，

closeFileSystem方法的功能是释放客户端对象资源。

getFileSystem方法的代码如下：

//获取HDFS客户端对象

publicstaticFileSystemgetFileSystem(){

FileSystemfs=null;

try{

Configurationconf=newConfiguration();

fs=FileSystem.get(newURI(hdfs://node1:9000),conf,bigdata);

}catch(IOExceptione){

e.printStackTrace();

}catch(InterruptedExceptione){

e.printStackTrace();

}catch(URISyntaxExceptione){

2

山西职业技术学院《Hadoop大数据技术与项目实战》

e.printStackTrace();

}

returnfs;

}

closeFileSystem方法代码如下：

//HDFS客户端对象资源释放

publicstaticvoidcloseFileSystem(){

try{

FileSystemfs=getFileSystem();

fs.close();

}catch(IOExceptione){

e.printStackTrace();

}

}

2.以封装的方式将本地文件test.txt上传至HDFS

在HdfsClientAPI类中添加putFileToHdfs()方法，方法代码如下：

@Test

publicvoidputFileToHdfs(){

try{

FileSystemfs=getFileSystem();

//以封装的