厦大大数据技术原理与应用第三章分布式文件系统HDFS.ppt

3.6 HDFS数据读写过程写入文件import?org.apache.hadoop.conf.Configuration;??import?org.apache.hadoop.fs.FileSystem;import?org.apache.hadoop.fs.FSDataOutputStream;import?org.apache.hadoop.fs.Path;?public?class?Chapter3?{????????public?static?void?main(String[]?args)?{?????????try?{????????????Configuration?conf?=?new?Configuration();??????????????FileSystem?fs?=?FileSystem.get(conf);????????????byte[]?buff?=?Hello?world.getBytes();?//?要写入的内容?????????????String?filename?=?hdfs://localhost:9000/user/hadoop/test.txt;?//要写入的文件名?????????????FSDataOutputStream?os?=fs.create(new?Path(filename));????????????os.write(buff,0,buff.length);????????????System.out.println(Create:+?filename);?????????}?catch?(Exception?e)?{??????????????e.printStackTrace();??????????}??????}??}3.6 HDFS数据读写过程FileSystem是一个通用文件系统的抽象基类，可以被分布式文件系统继承，所有可能使用Hadoop文件系统的代码，都要使用这个类Hadoop为FileSystem这个抽象类提供了多种具体实现DistributedFileSystem就是FileSystem在HDFS文件系统中的具体实现FileSystem的open()方法返回的是一个输入流FSDataInputStream对象，在HDFS文件系统中，具体的输入流就是DFSInputStream；FileSystem中的create()方法返回的是一个输出流FSDataOutputStream对象，在HDFS文件系统中，具体的输出流就是DFSOutputStream。Configurationconf=newConfiguration();FileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));FSDataOutputStreamout=fs.create(newPath(uri));备注：创建一个Configuration对象时，其构造方法会默认加载工程项目下两个配置文件，分别是hdfs-site.xml以及core-site.xml，这两个文件中会有访问HDFS所需的参数值，主要是fs.defaultFS，指定了HDFS的地址（比如hdfs://localhost:9000），有了这个地址客户端就可以通过这个地址访问HDFS了3.6.1 读数据的过程FSDataInputStream封装了DFSInputStreamFileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));Configurationconf=newConfiguration();importorg.apache.hadoop.fs.FileSystem通过ClientProtocal.getBlockLocations()远程调用名称节点，获得文件开始部分数据块的位置对于该数据块，名称节点返回保存该数据块的所有数据节点的地址并根据距离客户端远近进行排序客户端获得输入流FSDataInputStream以后调用read()函数开始读取数据输入流根据前面的排序结果选择距离客户端最近的数据节点建立连接并读取数据数据从数据节点读到客户端，当该数据块读取完毕时FSDataInputStream关闭和该数据节点的连接通过ClientProtocal.getBlockLocations()查找下一个数据块3.6.2 写数据的过程FileSyste