Hadoop入门指南：HDFS操作与Windows环境配置详解.pdfVIP

Hadoop‑HDFS

1:HDFS的API操作

1.1配置Windows下Hadoop环境

在Windows系统中需要配置Hadoop运行环境，否则直接运行代码会出现以下问题

缺少winutils.exe

1Couldnotlocateexecutablenull\bin\winutils.exeinthehadoopbinaries

缺少hadoop.dll

1Unabletoloadnative-hadooplibraryforyourtform…usingbuiltin-Java

classeswhereapplicable

步骤

第一步：将文件夹到一个不包含中文和空格的路径下

第二步：在Windows上配置Hadoop的环境变量：HADOOP

HOME，并将%HADOOPHOME%\bin添加到路径中

第三步：将hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系

统盘：C:\Windows\System32目录

第四步：关闭Windows并重启

1.2导入Maven依赖

dependencies

dependency

groupIdorg.apache.hadoop/groupId

artifactIdhadoop-common/artifactId

version2.7.5/version

/dependency

dependency

的操作

配置下环境

在系统需要配置运行环境，否则直接运行代码会出现以下问题

缺少winutils.exe

1Couldnotlocateexecutablenull\bin\winutils.exeinthehadoopbinaries

缺少hadoop.dll

1Unabletoloadnative-hadooplibraryforyourtform…usingbuiltin-Java

classeswhereapplicable

步骤

第一步：将文件夹拷贝到一个没有中文没有空格的路径下面

第二步：在上面配置的环境变量：，并

将添加到中

第三步：把文件夹中目录下的文件放到系统盘

目录

第四步：关闭重启

导入依赖

1

2dependencies

3dependency

4groupIdorg.apache.hadoop/groupId

5artifactIdhadoop-common/artifactId

6version2.7.5/version

7/dependency

8dependency

9groupIdorg.apache.hadoop/groupId

10artifactIdhadoop-client/artifactId

11version2.7.5/version

12/dependency

13dependency

14groupIdorg.apache.hadoop/groupId

15artifactIdhadoop-hdfs/artifactId

16version2.7.5/version

17/dependency

18dependency

19groupIdorg.apache.hadoop/groupId

20artifactIdhadoop-mapreduce-client-core/art