HDFS数据读过程37课件讲解.pptVIP

HDFS数据读过程

2学习任务了解HDFS读数据的流程熟悉读写过程的完整性

3知识目标了解HDFS读数据过程的特点和缺点了解HDFS存储相关知识熟悉HDFS读数据流程01能力目标能够掌握HDFS的读数据流程熟练运用存储相关知识解决实际问题能够理解读写过程的数据完整性02学习目标

4目录01概述02HDFS存储相关知识03HDFS读数据流程04读写过程的数据完整性

5概述能够运行在廉价机器上，硬件出错常态，需要具备高容错性；流式数据访问，而不是随机读写；面向大规模数据集，能够进行批处理、能够横向扩展；简单一致性模型，假定文件是一次写入、多次读取。特点

6概述不支持低延迟数据访问；不适合大量小文件存储（因为每条元数据占用空间是一定的）；不支持并发写入，一个文件只能有一个写入者；不支持文件随机修改，仅支持追加写入。缺点

7HDFS存储相关知识这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。block

8packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。packetHDFS存储相关知识

9chunk是最小的单位，它是client向DataNode，或