mapreduce文件读取实例及应用场景借鉴.pdfVIP

对于一个文件系统来说 , 如何能够方便的读取文件系统中的内容是使用 者很关心的一个问题 , 对于 hadoop 这样一个分布式云计算平台来说 , 它 的 hdfs 文件系统当然提供了一个方便的文件访问接口进行文件系统内 容的读取 . 我们可以通过 Hadoop URL的方式进行读取 , 也可以通过 Hadoop提供的文件系统的 API 进行文件读取 . 今天首先介绍一下通过 URL的方式进行 Hadoop文件系统的读取 : 使用 URL的方式对 Hadoop文件系统的读取非常简单 , 可以使用 java.net.URL 对象以及 org.apache.hadoop.io.IOUtils 的静态方法 copyBytes 来对文件系统进行读取 , 具体的例子如下 : import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class DataReadByURL { static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) throws Exception{ InputStream in = null; try{ in = new URL("hdfs://127.0.0.1:9000/data/mydata").openStream(); IOUtils.copyBytes(in,System.out,2048,false); }finally{ IOUtils.closeStream(in); }}} 上次我们讨论了利用 HDFS 的 url 的方式读取 HDFS 内文件内容的方法 , 今天我们讨论使用 HDFS 的 API 对 HDFS 内的文件进行读取 . HDFS 主要通过 FileSystem 类来完成对文件的打开操作 .和 java 使用 java.io.File 来表示文件很不相同 ,hadoop 的 HDFS 文件系统中的文件是 通过 Hadoop 的 Path 类来表示的 . FileSystem 通过静态方法 get(Configuration conf) 来获得 FileSystem 的实例 .通过该实例 ,我们可以通过 FileSystem 的 open,seek 等方法来实 现对 hdfs 的访问 ,具体的方法如下所示 : public FSDataInputStream open(Path f) throws IOException public abstract FSDataInputStream open(Path f, int bufferSize) throws IOException; 通过 FileSystem 的源代码可以看到 , 最终 open 方法落到一个抽象方法 public abstractFSDataInputStream open(Path f, int bufferSize) 来实现 文件的打开 , 具体的实现方式由继承自 FileSystem 的具体文件系统的实现来决定 . 有了上面的简单