HDFS应用场景、原理、基本架构及使用方法.pdf

LOGO HDFS 2.0应用场景、原理、基本 架构及使用方法 讲师：董西成 议程 1. HDFS概述 2. HDFS基本架构和原理 3. HDFS程序设计 4. HDFS 2.0新特性 5. 总结 小象科技 2 让你的数据产生价值 HDFS是什么？  源自于Google的GFS论文  发表于2003年10月  HDFS是GFS克隆版  Hadoop Distributed File System  易于扩展的分布式文件系统  运行在大量普通廉价机器上，提供容错机制  为大量用户提供性能不错的文件存取服务 小象科技 让你的数据产生价值 HDFS优点  高容错性  数据自动保存多个副本  副本丢失后，自动恢复  适合批处理  移动计算而非数据  数据位置暴露给计算框架  适合大数据处理  GB、TB、甚至PB级数据  百万规模以上的文件数量  10K+节点规模 小象科技 让你的数据产生价值 HDFS优点  流式文件访问  一次性写入，多次读取  保证数据一致性  可构建在廉价机器上  通过多副本提高可靠性  提供了容错和恢复机制 小象科技 让你的数据产生价值 HDFS缺点  低延迟数据访问  比如毫秒级  低延迟与高吞吐率  小文件存取  占用NameNode大量内存  寻道时间超过读取时间  并发写入、文件随机修改  一个文件只能有一个写者  仅支持append 小象科技 让你的数据产生价值 议程 1. HDFS概述 2. HDFS基本架构和原理 3. HDFS程序设计 4. HDFS 2.0新特性 5. 总结 小象科技 7 让你的数据产生价值 分布式文件系统的一种实现方式 file1 file2 0.5 TB 1.2 TB file1:node1,node2,node3 file1:node1 0.5 TB 1.2 TB file2:node2,node3,node4 file2:node3