大数据技术应用与发展手册_1.docxVIP

大数据技术应用与发展手册

第1章大数据技术基础与架构演进

1.1大数据核心概念与范式

大数据首先被定义为“规模大、类型多、更新快、价值密度低”的四大特征，这区别于传统关系型数据库的核心区别在于其非结构化数据的爆发式增长。在“4V范式中，Volume（体量）代表PB级数据总量，Velocity（速度）指每秒TB级的数据吞吐，Variety（多样性）涵盖文本、图片、视频等多种格式，Value（价值）则强调挖掘深层知识的能力。

处理这些异构数据需要引入Hadoop生态体系，通过MapReduce框架将数据在集群中进行分布式并行处理，从而解决单机资源瓶颈的问题。实时流式计算是大数据架构的另一大支柱，利用Flink等工具对数据流进行实时清洗和转换，实现毫秒级的数据处理与决策，而非传统的T+1批处理模式。数据仓库（DataWarehouse）作为历史数据分析的基石，采用星型或雪花模型构建，通过OLAP引擎支持多维度的OLTP查询，用于深度挖掘历史规律。

数据湖（DataLake）则采用分层存储策略，将原始数据以原始格式直接存入HDFS，为未来灵活地接入新格式数据提供无限扩展的空间。

1.2分布式存储与计算架构

分布式存储架构以HDFS为核心，采用NameNode管理元数据、DataNode存储数据块的方式，确保数据在集群中