基于Hadoop构建数据分析系统-资源工作任务3：HDFSJAVAAPIHDFSJAVAAPI.pptx

负责人：郑美容目录HDFS JAVA API01HDFS JAVA API实例021HDFS JAVA APIHDFS JAVA API对HDSF的文件操作主要有两种方式：命令行的方式和JavaAPI的方式。命令行的方式简单直接，但是必须要求本地机器也是在Linux系统中已经安装了hadoop，这对习惯用windows系统的用户来说不得不安装虚拟机，然后再在虚拟机上安装Linux系统，这是一种挑战。同时windows系统与虚拟机上安装的Linux系统进行文件传输也是要借助一些工具才可以实现。为了实现以上所遇到诸如系统不一致，手动输入命令等的困扰，我们选择Java API的方式，有专门的API函数，可以在非Hadoop机器上实现访问，同时与系统无关（windows、Linux甚至XP系统也可以）。Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，Hadoop类库中最终面向用户提供的接口类是FileSystem，该类封装了几乎所有的文件操作。HDFS JAVA API实例1.在HDFS的根目录下，创建名为hdfstest的目录。HDFS JAVA API实例2.将本地linux操作系统上的文件/data/hadoop4/sample_data，上传到HDFS文件系统的/hdfstest目录下。HDFS JAVA API实例3.将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/hadoop4/copytolocal 。HDFS JAVA API实例4.列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。HDFS JAVA API实例5.在HDFS上，创建/hdfstest/writefile文件并在文件中写入内容“hello world hello data!”。