《大数据技术》课件.pptxVIP

单击此处添加标题汇报人：XXXXX年XX月XX日

目录CONTENTS01单击此处添加章节标题02单击此处添加章节标题03单击此处添加章节标题04单击此处添加章节标题05单击此处添加章节标题06单击此处添加章节标题

PART.01单击此处添加章节标题

大数据时代的演进批处理时代以HadoopMapReduce为核心标志，采用分而治之思想，主要依赖磁盘I/O进行分布式计算，解决了早期海量数据处理的算力瓶颈，但存在分钟级以上的高延迟问题。内存计算时代以ApacheSpark为代表，引入弹性分布式数据集抽象，大幅减少磁盘I/O损耗，实现秒级微批处理，并统一了批处理、流处理与机器学习的编程模型。流批一体时代以ApacheFlink为先锋，采用流处理优先架构，将批处理视为有界流的特例，基于事件驱动实现毫秒级低延迟与复杂状态管理。云原生时代以Kubernetes及容器化平台为核心，推动计算与基础设施深度融合，实现计算资源的弹性伸缩与Serverless化部署。

核心特征（5V模型）Volume（海量规模）数据体量达到TB、PB甚至EB级别，远超单机存储与处理能力，必须依赖分布式文件系统与集群架构进行海量数据承载与计算ariety（数据多样）数据类型从单一的结构化数据扩展到半结构化和非结构化数据，包含日志、文本、音视频等，需要灵活的存储与计算引擎支撑。Velocity（