大数据应用与开发手册（执行版）.docxVIP

大数据应用与开发手册（执行版）

第1章大数据基础架构与数据治理

1.1大数据技术栈概览与选型

在构建大数据系统初期，需明确“计算引擎”与“存储引擎”的分工，前者负责实时处理与流式计算，后者负责海量数据的持久化与冷热分离。针对异构数据源（如关系型数据库、NoSQL数据库、日志文件），应优先选择支持多协议连接的中间件，如Flink或SparkStreaming，以消除数据孤岛。

计算引擎选型需兼顾吞吐量与延迟，例如使用ApacheFlink处理毫秒级实时流，而使用HadoopMapReduce或Spark处理批处理任务。存储架构应遵循“分层存储”原则，将热数据（HotData）存储在高性能对象存储（如HDFS或S3）中，冷数据归档至低成本对象存储。数据湖仓架构（DataLakehouse）是当前的主流趋势，它结合了数据湖的弹性扩展能力和数据仓的查询优化能力，通过DeltaLake等事务性存储增强一致性。

选型时需进行成本效益分析，评估硬件资源消耗、软件许可费用及运维复杂度，确保技术栈与业务预算相匹配。

1.2存储层次架构详解

存储架构自下而上分为块存储、文件存储、对象存储和列式存储四个层级，块存储提供毫秒级随机读写，对象存储提供无限扩展的存储容量。块存储通常用于数据库主数据库（如MySQL、Oracle）的底层