大数据技术与产业发展手册_1.docxVIP

大数据技术与产业发展手册

第1章大数据技术基础架构

1.1分布式存储与计算范式

分布式存储架构的核心在于将海量数据分散存储在成千上万个节点上，通过分布式文件系统（如HDFS）实现数据的高可用性和容错性。当某个节点发生故障时，其他节点会自动接管其数据，确保业务连续性，这是传统单点存储无法实现的特性。计算范式从“批处理”向“流处理”和“计算即代码”演进。在流处理场景中，使用Flink或SparkStreaming实时捕捉数据流，例如在金融交易中毫秒级识别欺诈行为，而无需等待数据到达固定的处理窗口。

数据倾斜（DataSkew）是分布式计算中常见的性能瓶颈，表现为某个数据键在集群中分布不均，导致计算任务在特定节点上耗时过长。解决方案包括使用Shuffle优化、数据均衡化算法以及动态资源调度策略。数据倾斜会导致分布式计算任务超时或资源浪费，需通过调整任务副本数（如将任务副本从1个变为3个）来增加计算节点间的负载均衡，确保每个节点都能公平地分担计算负载。在分布式存储中，块大小（BlockSize）的选择直接影响吞吐量和I/O效率，通常建议将块大小设置为128MB或256MB，以平衡磁盘寻道时间和网络传输延迟，避免碎片化存储。

分布式计算框架（如Spark）采用内存计算模式，将数据加载到本地内存中进行处理，相比传统Hadoop的