大数据处理与分析应用手册（执行版）.docx

大数据处理与分析应用手册（执行版）

第1章大数据基础架构与数据治理

1.1大数据技术栈概览与选型

大数据技术栈是指支撑海量数据从采集、存储、计算到分析的全套软硬件工具集合，核心包括Hadoop生态体系中的HDFS、YARN和MapReduce，以及基于ApacheSpark的流批一体计算引擎。选型时首要考量是数据规模与延迟要求，例如处理每日TB级日志需优先选择支持自动分区的HDFS，而实时金融风控分析则需选用低延迟的SparkStreaming集群。在存储层，HDFS通过分布式文件系统架构实现数据的高可用与容错，其块大小默认设为128MB以保证读写