大数据应用与挖掘技术手册（执行版）.docx

大数据应用与挖掘技术手册（执行版）

第1章大数据技术架构与基础设施

1.1分布式存储系统架构

分布式存储系统是大数据平台的核心基石，采用“存储层”与“计算层”分离的架构设计，通过副本机制和纠删码技术确保数据的高可用性与数据一致性。在实际部署中，我们可以使用HDFS(HadoopDistributedFileSystem)作为存储层的基础，它允许海量非结构化数据（如日志、图片）以块的形式分片存储，每个块包含64KB至2GB不等的数据单元，且块与块之间通过元数据节点进行逻辑关联，从而实现了数据的分布式存储。在存储配置上，为了应对TB级甚至PB级的数据存储需求