实验1-HDFS-Java-API编程.doc

实验1 HDFS Java API编程 一、实验目的实验平台 操作系统：Linux Hadoop版本：.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 实验内容编程实现指定功能FSDataOutputStream将文件内容写入HDFS，通过FSDataInputStream从HDFS中读取文件内容。 Java代码： package com.hut.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; public class MyTest1 { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); conf.set(fs.default.name, hdfs://localhost:9000); conf.set(fs.hdfs.impl, org.apache.hadoop.hdfs.DistributedFileSystem); FileSystem fs = FileSystem.get(conf); Path filePath = new Path(/user/hadoop/text.txt); // 写入数据 FSDataOutputStream outStream = fs.create(filePath); outStream.writeUTF(hello world \ntest 123); outStream.close(); // 读取数据 FSDataInputStream inStream = fs.open(filePath); String data = inStream.readUTF(); System.out.println(data); inStream.close(); fs.close(); } } 2、文件上传：向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件Java代码： package com.hut.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; public class MyTest2 { public static boolean test(Configuration conf, String path) throws IOException { FileSystem fs = FileSystem.get(conf); return fs.exists(new Path(path)); } public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException { FileSystem fs = FileSystem.get(conf); Path localPath = new Path(localFilePath); Path remotePath = new Path(remoteFilePath); /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */ fs.copyFromLocalFile(false, true, localPath, remotePath); fs.close(); } public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException { FileSystem fs = FileSystem.get(conf); Path remotePath = new Path(remoteFilePath); /* 创建一个文件读入流 */ FileInputStream in = new FileInputStream(localFilePath); /* 创建一个文件输出流，输