光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训精选.pdfVIP

光环大数据--大数据培训知名品牌 光环大数据 Hadoop 之HDFS 原理及文件上传下载源码分析_光环大数据培训 光环大数据培训认为，将继续介绍hdfs 文件上传、下载源解析。 文件上传 先上文件上传的方法调用过程时序图： 其主要执行过程： 1. FileSystem 初始化，Client 拿到NameNodeRpcServer 代理对象，建立与NameNode 的RPC 通信（楼主上篇已经介绍过了） 2. 调用FileSystem 的create()方法，由于实现类为DistributedFileSystem,所有是调用该 类中的create()方法 3. DistributedFileSystem 持有DFSClient 的引用，继续调用DFSClient 中的create()方法 4. DFSOutputStream 提供的静态newStreamForCreate()方法中调用 NameNodeRpcServer 服务端的create()方法并创建DFSOutputStream 输出流对象返 回 5. 通过hadoop 提供的IOUtil 工具类将输出流输出到本地 下面我们来看下源码： 首先初始化文件系统，建立与服务端的RPC 通信 1 HDFSDemo.java2 OutputStream os = fs.create(new Path(/test.log)); 调用FileSystem 的create()方法，由于FileSystem 是一个抽象类，这里实际 上是调用的该类的子类create()方法 1 //FileSystem.java2 public abstract FSDataOutputStream create(Path f,3 FsPermission permission,4 boolean overwrite,5 int buffe rSize,6 short replication,7 long blockSize,8 Progressabl e progress) throws IOException; 光环大数据 光环大数据--大数据培训知名品牌 前面我们已经说过FileSystem.get()返回的是DistributedFileSystem 对象，所 以这里我们直接进入DistributedFileSystem： 1 //DistributedFileSystem.java 2 @Override 3 public FSDataOutputStr eam create(final Path f, final FsPermission permission, 4 final EnumS etCreateFlag cflags, final int bufferSize, 5 final short replicatio n, final long blockSize, final Progressable progress, 6 final Checksu mOpt checksumOpt) throws IOException { 7 statistics.incrementWriteOp s(1); 8 Path absF = fixRelativePart(f); 9 return new FileSystemLi nkResolverFSDataOutputStream() {10 @Override11 public FSDat aOutputStream doCall(final Path p)12 throws IOException, Unreso lvedLinkException {13 final DFSOutputStream dfsos = dfs.create(ge tPathName(p), permission,14 cflags, replic