实验3-熟悉常用的hdfs操作-答案.docxVIP

实验2熟悉常用的HDFS操作 1实验目的 理解HDFS在Hadoop体系结构中的角色; 熟练使用HDFS操作常用的Shell命令； 熟悉HDFS操作常用的Java API。 2实验平台 操作系统：Lin ux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE: Eclipse 3实验内容和要求 1.编程实现以下指定功能，并利用 Hadoop提供的Shell命令完成相同任务： 提示： 1） 部分Shell命令的参数路径只能是本地路径或者 HDFS路径。 2） 若Shell命令的参数既可以是本地路径，也可以是 HDFS路径时，务必注意区分。为保 证操作正确，可指定路径前缀 hdfs:///或者 3） 注意区分相对路径与绝对路径 4） 具体命令的说明可参考教材或 （1） 向HDFS中上传任意文本文件，如果指定的文件在 HDFS中已经存在，由用户 指定是追加到原有文件末尾还是覆盖原有的文件； Shell命令: 检查文件是否存在：./hdfs dfs -test -e text.txt（执行完这一句不会输出结果，需要继续输入命令 echo $?） 追加命令:./hdfs dfs -appendTo text.txt 覆盖命令 1: ./hdfs dfs -copyFromLocal -f local.txt text.txt 覆盖命令 2: ./hdfs dfs -cp -f text.txt 也可以使用如下命令实现： （如下代码可视为一行代码，在终端中输入第一行代码后，直到输入 fi才会真正执行）： if $（./hdfs dfs -test -e text.txt）; then $（./hdfs dfs -appe ndTo text.txt）; else $（./hdfs dfs -copyFromLocal -f local.txt text.txt）; fi Java代码： import org.apache.hadoop.c onf.Con figuratio n; import org.apache.hadoop.fs.*; import java.io.*; public class HDFSApi { /** *判断路径是否存在 */ public static boolea n test(C on figurati on conf, String path) throws IOExcepti on { fs = (conf); return fs.exists(new Path(path)); /** 复制文件到指定路径 若路径已存在，则进行覆盖 */ public static void copyFromLocal conf, String local, String remote) throws IOException { fs = (conf); Path localPath = new Path(local); Path remotePath = new Path(remote); /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆 盖*/ fs.copyFromLocal, true, localPath, remotePath); fs.close(); /** 追加文件内容 */ public static void appendTo conf, String local, String remote) throws IOException { fs = (conf); Path remotePath = new Path(remote); /*创建一个文件读入流 */ */in = new (local); */ /*创建一个文件输出流，输出的内容将追加到文件末尾 FSDataOutputStream out = fs.appe nd(remotePath); /*读写文件内容 */ byte[] data = new byte[1024]; int read = -1; while ( (read = in. read(data)) 0 ) { out.write(data, 0, read); } out.close(); in .close(); fs.close(); } /** *主函数 */ public static void main( Stri ng[] args) { Con figurati on conf = new Con figurati on(); con f.set(fs.default. name,hdfs://localhost:9000); String local = /h