互联网大数据应用与数据分析手册（执行版）.docxVIP

互联网大数据应用与数据分析手册（执行版）

第1章大数据基础架构与核心概念

1.1分布式存储技术详解

分布式存储的核心在于将海量数据分散存储在成千上万个节点上，通过副本机制和纠删码技术确保数据不丢失且可快速恢复。以HadoopHDFS为例，当用户写入一个100GB的日志文件时，系统会自动将其切分为10个10MB的块，每个块分散存储在不同节点上，若某节点宕机，系统会自动从其他节点读取数据重建，实现高可用。块级别的数据分片是分布式存储的基础，通过计算数据块的哈希值（如MD5）确定其在集群中的存储位置。例如，在阿里云对象存储中，用户图片后，系统会根据文件后缀名和随机数唯一的存储路径，确保同一份文件永远存储在同一位置，防止数据冗余。

数据块的大小（BlockSize）直接影响存储效率与读写性能，通常设置为64MB或128MB，过大会降低读取速度，过小则浪费空间。在ApacheSpark处理海量数据时，若块大小设为100MB，系统能更高效地进行并行读取，减少网络传输开销。纠删码（ErasureCoding）是一种将数据块拆分并分散存储的技术，其核心思想是用$k$个数据块$c$个校验块，其中$ck$，当部分数据丢失时，利用校验块中的冗余信息重建缺失数据。在Google的FileSystem中，通过这种方式存储PB级