HDFS API详解.docVIP

Hadoop中关于文件操作的类基本上位于?org.apache.hadoop.fs包中这些Static FileSystem get(Configuration conf) 该类封装了几乎所有的文件操作，程序框架如下： Operator() { //得到Configuration对象 //得到FileSystem对象 //进行文件操作 } 3.1 上传本地文件 　　通过FileSystem.copyFromLocalFile（Path src，Patch dst）可将本地文件上传到HDFS的定位置上，其中src和dst均为文件的完整路径。具体事例如下： ? package?com.hebut.file; ? import?org.apache.hadoop.conf.Configuration; import?org.apache.hadoop.fs.FileStatus; import?org.apache.hadoop.fs.FileSystem; import?org.apache.hadoop.fs.Path; ? public?class?CopyFile { ????public?static?void?main(String[] args)?throws?Exception { ??????? Configuration conf=new?Configuration(); ??????? FileSystem hdfs=FileSystem.get(conf); ??????? ????????//设置本地文件 ??????? Path src =new?Path(D:\\HebutWinOS); ????????//设置上传数据的路径 ??????? Path dst =new?Path(/); ???????/*通过FileSystem.copyFromLocalFile（Path src，Patch dst）可将本地文件上传到HDFS的定位置上??????? hdfs.copyFromLocalFile(src, dst); ??????? System.out.println(Upload to+conf.get(fs.default.name)); ??????? ??????? FileStatus files[]=hdfs.listStatus(dst); ????????for(FileStatus file:files){ ??????????? System.out.println(file.getPath()); ??????? } ??? } } ? 　　运行结果可以通过控制台、项目浏览器和SecureCRT查看，如图6-1-1、图6-1-2、图6-1-3所示。 　　1）控制台结果 ? 　　 图6-1-1 运行结果（1） 　　2）项目浏览器 ? 　　 图6-1-2 运行结果（2） 　　3）SecureCRT结果 ? 　　 图6-1-3 运行结果（3） 3.2 创建HDFS文件 　　通过FileSystem.create（Path f）可在HDFS上创建文件，其中f为文件的完整路径。具体实现如下： ? package?com.hebut.file; ? import?org.apache.hadoop.conf.Configuration; import?org.apache.hadoop.fs.FSDataOutputStream; import?org.apache.hadoop.fs.FileSystem; import?org.apache.hadoop.fs.Path; ? public?class?CreateFile { ? ????public?static?void?main(String[] args)?throws?Exception { ??????? Configuration conf=new?Configuration(); ??????? FileSystem hdfs=FileSystem.get(conf); ??????? ????????byte[] buff=hello hadoop world!\n.getBytes(); ??????? ??????? Path dfs=new?Path(/test); ??????? ??????? FSDataOutputStream outputStream=hdfs.create(dfs); ??????? outputStream.write(buff,0,buff.length); ??????? ??? } } ? 　　运行结果如图6-2-1和图6-2-2所示。 　　1）项目浏览器 ? 　　 图6-