hadoop深入浅出-JAVA操作HDFS(JAVA接口使用).pdf

HADOOP深入浅出 （HDFS接口） 研发中心 付斌 目录 建立JAVA工程 （手动方式） 建立JAVA工程 1、Eclipse新建JAVA工程 与Hadoop版本保 持一致 建立JAVA工程 2、导入依赖包 hadoop-2.7.1\share\hadoop\common目录： 建立JAVA工程 2、导入依赖包 hadoop-2.7.1\share\hadoop\common\lib目录： 建立JAVA工程 2、导入依赖包 \hadoop-2.7.1\share\hadoop\hdfs目录： 建立JAVA工程 3、添加到build path 目录 开发Demo程序 开发Demo程序 1、新建HDFSDemo类 开发Demo程序 2、导入相关包 开发Demo程序 3、编写类主体（属性、方法） //编写一个文件下载方法（读），实现从HDFS上将文件下载到本地系统。 开发Demo程序 3、编写类主体（属性、方法） //编写一个初始化方法，建立与HDFS的连接，并获取主要的FileSystem操作对象。 说明：因是X86系统向linux文件系统写入，存在权限限制问题（linux默认不会给其 他系统用户写的权限），所以FileSystem.get方法需要中设置第三个参数来伪装用户 （此处是root ），达到获取权限的目的（不是线程安全的，目前HDFS已经有专门的 权限框架控制，此处暂时不进行介绍）。 开发Demo程序 3、编写类主体（属性、方法） //编写一个文件上传方法（写）。实现将本地文件上传到HDFS。 开发Demo程序 3、编写类主体（属性、方法） //编写一个文件目录创建方法。实现在HDFS上创建目录的操作。 开发Demo程序 //编写一个文件删除方法。实现在HDFS删除指定文件的操作。 True表示是否进行递归删除（清空目录）。