大数据_hadoop_分布式文件系统.pptx

Hadoop分布式文件系统——HDFS详解;Hadoop的文件系统 HDFS简介 HDFS体系结构 HDFS的基本操作 HDFS常用Java API详解 HDFS中的读写数据流 HDFS命令详解;1.何为分布式文件系统？;一、Hadoop文件系统;（1）Hadoop提供了许多文件系统的接口，用户可以选取合适的文件系统实现交互。例如，可以通过命令行接口和HDFS 文件系统进行交互： 比如，列出本地文件系统根目录下的文件，执行以下shell命令即可： hadoop fs -ls file:/// (2)运行的MapReduce程序可以访问以上任何文件系统，但是在处理大数据集时，需要选择一个具有数据本地化优化的分布式文件系统，常用的如HDFS或KFS。 注：Hadoop在存储有输入数据（如，HDFS中的数据）的节点上运行map任务时可以获得最佳性能，这就是数据本地化优化。;2.Hadoop文件系统的接口 Hadoop 使用Java编写的，通过 Java API 可以调用所有Hadoop 文件系统的交互操作。 例如，HDFS的命令解释器就是一个Java应用，它使用Java的FileSystem类来提供文件系统操作。 （1）Thrift Hadoop 文件系统的接口是通过Java API 提供的，所以其他非Java 应用程序访问 Hadoop 文件系统会比较麻烦。 Thrift分类单