大数据技术基础第四章：HDFS API编程.pptxVIP

第4章 HDFS API编程;4.1 HDFS API概述;1. C API——libhdfs libhdfs是Hadoop为C语言提供的一个函数库，为C语言程序提供HDFS文件操作和文件系统管理的访问接口。libhdfs位于$HADOOP_HDFS_HOME/lib/native/libhdfs.so中，该文件是一个预编译文件。libhdfs与Windows系统是兼容的。运行mvn编译器对hadoop-hdfs-project/hadoop-hdfs中的源代码重新编译即可构建Windows版的libhdfs。 libhdfs API是HDFS API的一个子集，其头文件位于$HADOOP_HDFS_HOME/include/hdfs.h，该文件详细地描述了每个API函数的签名。 maven是一个项目构建和管理的工具，其主要Shell命令是mvn，它提供了代码编译、依赖管理、文档管理、项目报告等项目管理功能，它将项目过程规范化、自动化、高效化。使用maven及其插件，可以获得代码检查报告、单元测试覆盖率、实现持续集成等。 ;实例见教材P79;2. HFTP HFTP提供从远程Hadoop HDFS集群读数据的能力，其读操作通过HTTP完成，所读数据来源于各DataNode节点。HFTP是一种只读的文件系统，因此如果你试图用它来写入数据或修改文件系统状态，那么它将抛出异常。 假如你拥有多个不同版本的HDFS集群且需要把一个集群的数据拷贝到另一个集群，则HFTP特别有用。使用HFTP，HDFS不同版本之间的兼容性问题可以得到有效解决。 例如，执行以下的操作： hadoop distcp -i hftp://srchost:50070/src hdfs://desthost:8020/dest 其中，子命令distcp是Hadoop提供的工具命令，用于在两个HDFS集群之间中拷贝文件。上述操作是将源集群srchost中的src目录复制到目标集群desthost的dest目录中。;Hadoop的REST API有两个：WebHDFS和HttpFS，二者提供几乎相同的功能，使一个集群外的客户机可以不用安装Hadoop和Java环境就可以对集群内的Hadoop进行访问，并且客户端不受程序设计语言的限制。;4. HDFS Java API HDFS Java API位于org.apache.hadoop.fs包中，这些API能够支持的操作包括：打开文件、读/写文件、删除文件等。;4.1.1 HDFS API简介;4.1.1 HDFS API简介;HDFS Java API为客户端提供了针对文件系统、目录和文件的各种操作功能。在客户端应用程序中，通常按以下步骤来使用HDFS Java API。 1. 实例化Configuration Configuration类位于org.apache.hadoop.conf包中，它封装了客户端或服务器的配置。每个配置选项是一个键/值对，通常以XML格式保存。 实例化Configuration类的代码如下： Configuration conf = new Configuration(); ;2. 实例化FileSystem FileSystem类是客户端访问文件系统的入口，是Hadoop为客户端提供的一个抽象的文件系统，可以是Hadoop的HDFS，也可以Amazon的S3。DistributedFileSystem类是FileSystem的一个具体实现，是HDFS真正的客户端API。 实例化FileSystem并返回默认的文件系统的代码如下： FileSytem fs = FileSystem.get(conf);;3. 设置目标对象的路径 HDFS API提供Path类来封装HDFS文件路径。Path类位于org.apache.hadoop.fs包中。设置目标对象的路径的代码如下。 Path path = new Path(/test);;4. 执行文件或目录操作 得到FileSystem实例之后，就可以使用该实例提供的方法成员来执行相应的操作，例如打开文件、创建文件、重名文件、删除文件或检测文件是否存在等。 FileSystem的常用成员函数见教材P83. 实例见教材P84;4.2 HDFS Java API客户端编程;1. 创建HDFS目录 通过FileSystem.mkdir()方法可在HDFS中创建目录。该方法支持以下3种重载形式。 boolean mkdirs(Path f)，创建一个具有默认访问权限的目录，其中f为子目录的完整路径。 abstract boolean mkdirs(Path f, FsPermission pms)，相当于Linux系统的mkdir -p命令，能创建一个具有指