04_Hadoop 分布式文件系统HDFS_2_JavaAPI容器内运行.pdfVIP

数据科学家网 http ://www.shujukexueji Hadoop 布式文件系统HDFS Java API 录 1. HDFS 写文件 2 1.1. 程序代码 2 1.2. 打成Jar 包 3 1.3. 上传Jar 包 3 1.4. 启动Hadoop 3 1.5. 运行程序 3 2. HDFS 读文件 3 2.1. 程序代码 4 2.2. 打成Jar 包 5 2.3. 上传Jar 包 5 2.4. 启动Hadoop 5 2.5. 运行程序 5 3. 读写本地与HDFS 文件的读写 5 3.1. 程序代码 5 3.2. 打成Jar 包 7 3.3. 上传Jar 包 7 3.4. 启动Hadoop 7 3.5. 运行程序 7 利用 HDFS 给提供的 API ，我们可以通过程序读写 HDFS 中的文件。在 Hadoop 中用于文件操作的主类位于org.apache.hadoop.fs 软件包中。包括常见的 open、read 、write、 close 。我们首先使用的是FileSystem 类，这是一个与文件 系统交互的抽象类，我们通过调用FileSystem.get(Configuration conf)来取得所需 的FileSystem 实例，如下我们可以获得与HDFS 接口的FileSystem 对象： Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf);//获得HDFS 的FileSystem 对象 如果我们要实现HDFS 文件系统与本地文件系统的交互，我们还需要获取本 地文件系统的FileSystem 对象。本地是指Linux 文件系统，因为Hadoop 是构建 1 / 7 数据科学家网 http ://www.shujukexueji 在Linux 之上的，我们称Linux 为本地。获取本地文件系统的FileSystem 对象的 方法： FileSystem local = FileSystem.getLocal(conf);//获得本地文件系统的FileSystem 对象。 使用HDFS Java API 的程序在编译 需要的Jar 包有：hadoop-core-1.0.4.j ar， 此文件在Hadoop 安装包的根目录下：/HADOOP_HOME/hadoop-core-1.0.4.j ar 。 以下通过一个例子来讲解如何使用Java API 来访问HDFS 。 1. HDFS 写文件 本例子实现在HDFS 中创建文件/user/root/test/test.txt，并向文件 中写入Helo world! 1.1.程序代码 package com .hadoop .hdfs.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop