大数据技术应用与发展趋势手册.docxVIP

大数据技术应用与发展趋势手册

第1章大数据基础架构与核心技术

1.1分布式存储与计算范式

分布式存储的核心在于将海量数据分散存储在不同节点上，通过副本机制和纠删码技术确保数据的高可用性与容错性，例如在HadoopHDFS中，每个数据块会被复制3份，即使部分节点宕机，数据也不会丢失。计算范式从传统的集中式CPU计算转向分布式计算，利用成千上万个机器协同工作，像处理照片一样并行处理数据，例如在Spark中，用户查询会在集群的多个核心节点上同时执行，大幅缩短响应时间。

数据分片（Sharding）是分布式存储的关键技术，通过将数据按特定规则（如用户ID、时间戳）切分成多个部分存储在独立节点中，确保单节点存储量可控，例如在淘宝的电商平台中，用户数据被切分存储以便快速检索。数据分区（Partitioning）与数据分片（Sharding）的区别在于，分区是逻辑上的简单切片，而分片是物理上的独立存储单元，例如在HDFS中，分区代表目录层级，分片代表具体的磁盘块。数据冗余（Replication）是分布式存储的基石，通过复制数据副本来防止单点故障，例如在金融交易系统中，关键交易数据会被复制3份，保证在任何3个节点中至少有一份完整。

数据校验（Checksum）机制用于检测数据在传输或存储过程中是否发生错误，例如在写入文件时系统会计算数据的哈希值