Hadoop大数据处理技术基础与实践（微课版）（第3版） 课件 第3、4章 HDFS技术、 YARN技术.pptx

第三章HDFS技术

3.1HDFS的特点

3.1HDFS的特点简单一致性核心：“一次写，多次读”，写入文件不可修改；若需修改，需在HDFS外处理后重新上传（如搜索引擎文件）。故障检测与自动恢复基于廉价硬件，支持自动检测节点故障；通过多副本机制（默认3份）快速修复损坏数据，对用户透明。流式数据访问优化数据吞吐量（非交互型小数据），放宽POSIX规范，适合长时间分析大数据集。支持超大文件存储适配GB/TB级文件；避免大量小文件（会占用NameNode内存）。优化读取（机架感知）优先从同机架节点读取数据，跨数据中心时优先近距离复制，减少跨机架网络开销。数据完整性客户端计算