mapreduce文件读取实例及应用场景.doc

对于一个文件系统来说,如何能够方便的读取文件系统中的内容是使用者很关心的一个问题,对于hadoop这样一个分布式云计算平台来说,它的hdfs文件系统当然提供了一个方便的文件访问接口进行文件系统内容的读取.我们可以通过Hadoop URL的方式进行读取,也可以通过Hadoop提供的文件系统的API进行文件读取.今天首先介绍一下通过URL的方式进行Hadoop文件系统的读取: ?? ? ? ?使用URL的方式对Hadoop文件系统的读取非常简单,可以使用java.net.URL对象以及org.apache.hadoop.io.IOUtils的静态方法copyBytes来对文件系统进行读取,具体的例子如下: import?java.io.InputStream; import?java.net.URL; import?org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import?org.apache.hadoop.io.IOUtils; public?class DataReadByURL?{ static{ URL.setURLStreamHandlerFactory(new?FsUrlStreamHandlerFactory()); } public?static?void?main(String[] args)?throws?Exception{ InputStream in =?null; try{ in =?new?URL(hdfs://127.0.0.1:9000/data/mydata).openStream(); IOUtils.copyBytes(in,System.out,2048,false); }finally{ IOUtils.closeStream(in); }}} 上次我们讨论了利用HDFS的url的方式读取HDFS内文件内容的方法,今天我们讨论使用HDFS的API对HDFS内的文件进行读取. HDFS主要通过FileSystem类来完成对文件的打开操作.和java使用java.io.File来表示文件很不相同,hadoop的HDFS文件系统中的文件是通过Hadoop的Path类来表示的. FileSystem通过静态方法 get(Configuration conf)来获得FileSystem的实例.通过该实例,我们可以通过FileSystem的open,seek等方法来实现对hdfs的访问,具体的方法如下所示: public?FSDataInputStream open(Path f)?throws?IOExceptionpublic?abstract?FSDataInputStream open(Path f,?int?bufferSize) ? ??throws?IOException; 通过FileSystem的源代码可以看到,最终open方法落到一个抽象方法public?abstractFSDataInputStream open(Path f,?int?bufferSize)来实现文件的打开,具体的实现方式由继承自FileSystem的具体文件系统的实现来决定.有了上面的简单解释,我们来看一个通过HDFS的API来访问文件系统的例子:import?org.apache.hadoop.fs.*; import?org.apache.hadoop.conf.*; import?org.apache.hadoop.io.*; public?class?HDFSCatWithAPI { /** *?@param?args */ public?static?void?main(String[] args)?throws?Exception{ //?指定ConfigurationConfiguration conf =?new?Configuration(); //定义一个DataInputStreamFSDataInputStream in =?null; try{ //得到文件系统的实例FileSystem fs = FileSystem.get(conf); //通过FileSystem的open方法打开一个指定的文件in = fs.open(newPath(hdfs://localhost:9000/user/myname/input/fixFontsPath.sh)); //将InputStream中的内容通过IOUtils的copyBytes方法拷贝到System.out中IOUtils.copyBytes(in,System.out,4096,false); //seek到position 1in.seek(1); //在执行一边拷贝输出工