03-第三章HDFS技术分析.ppt

/jira/browse/HADOOP-4826 /common/docs/r0.20.2/hdfs_user_guide.html#Safemode 创建HDFS文件(createNewFile) Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path = new Path(fileName); boolean isCreated = hdfs.createNewFile(path); * 第3章 * 从本地拷贝文件到HDFS(copyFromLocalFile) Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path srcPath = new Path(srcFile); Path dstPath = new Path(dstFile); hdfs.copyFromLocalFile(srcPath,dstPath） * 第3章 * 从HDFS读取文件(open) Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path = new Path(dstFile); FSDataInputStream inputStream = hdfs.open(path); Text line = new Text() LineReader liReader = new LineReader(inputStream); while (liReader.readLine(line) 0) { System.out.println(line); } inputStream.close(); * 第3章 * 追加方式写入HDFS文件(append) Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path path= new Path(dstFile); FSDataOutputStream out = hdfs.append(path); //在文件尾部，追加数据 out.close(); * 第3章 * 列出目录下的所有文件(listStatus) Configuration config = new Configuration(); FileSystem hdfs = FileSystem.get(config); Path dir = new Path(dirName); FileStatus[] fileStatus = hdfs.listStatus(new Path[]{dir}); * 第3章 * FuseHDFS 用户空间文件系统（Filesystem in Userspace,简称FUSE），是操作系统中的概念，指在用户态下实现的文件系统 FuseHDFS是Hadoop contrib的一个模块 通过命令挂载在*nix系统上，可以把HDFS当成本地文件系统使用 访问HDFS时，使用标准的*nix命令，如ls,cd,cp,mkdir,find,grep 任何编程语言通过POSIX库与HDFS文件系统交互 通过FuseHDFS创建的文件或文件夹的属主是nobody $mkdir /dfs$cd $HADOOP_HOME/build/contrib/fuse-dfs$./fuse_dfs_wrapper.sh dfs://master:9000 /dfs * 第3章 * WebHDFS RESTful API 简介 RESTful 使用标准的HTTP协议来完成逻辑操作 无状态，即在服务器端不保留任何操作和事务的状态 客户端与服务器端的数据交换，一般采用JSON, XML等 HDFS的RESTful API支持完整的文件系统接口 配置RESTful 在hdfs-site.xml中置dfs.webhdfs.enabled为true URL格式 http://HOST:HTTP_PORT/webhdfs/v1/PATH?op=... http://HOST:PORT/webhdfs/v1/PATH?[=USER]op=... * 第3章 * WebHDFS RESTful API (HTTP GET) 操作 参考 OPEN FileSystem.open GETFILESTATUS FileSystem