大数据分析与应用手册.docxVIP

大数据分析与应用手册

第1章大数据基础架构与数据治理

1.1大数据核心范式与架构演进

在技术演进初期，传统关系型数据库（RDBMS）凭借ACID事务支持，能够高效处理结构化数据。然而，随着数据量呈指数级增长，传统架构暴露出扩展性差、查询效率低等瓶颈，无法满足海量非结构化数据的存储与快速分析需求。2006年Google提出了“宽表”概念，标志着从“列式存储”向“行式存储”范式的转变，即宽表模式，这为后续的大数据分析奠定了基础，但在处理海量数据时仍面临性能挑战。

2012年，Google进一步提出了“列式存储”（ColumnarStorage）范式，该范式将数据以列的形式存储，只存储必要的列，大幅减少了存储空间，同时提升了查询效率，成为大数据处理的核心架构之一。随后，基于列式存储的“列式数据库”（如Parquet,ORC,Avro等格式）应运而生，这些格式专为大数据分析优化，支持压缩、分区和过滤，使得在海量数据中快速提取所需信息成为可能。到了2018年，ApacheHadoop生态系统的成熟，尤其是MapReduce框架的完善，确立了“批处理与批流一体”的大数据计算范式，实现了对海量数据的分布式处理，彻底改变了数据处理方式。

近年来，随着实时计算需求的增长，基于Flink等流式计算框架的“实时计算”范式逐渐兴起，实现了数据从产