高教社2026教学课件大数据处理-第1章 大数据处理基础.pptxVIP

大数据处理

2025春;课程简介;

互联网应用数据急剧增长

互联网用户数量巨大，日益活跃

?互联网用户在微博、论坛、电子商务

等网站上日复一日地生成数据

淘宝网每天新增数据40TB以上

百度每天处理10PB量级的数据，

总数据量达1000PB;;

?科学实验数据规模巨大，增长迅猛

生物工程

气候监测

高能物理

天文观测

生态环境

….

;;应用背景;新兴大数据应用的涌现;大数据处理亟待计算模式的革新;?大数据技术对经济社会和科研都在产生重要影响

–经济社会;;目录;目录;1.1大数据特征;大数据特征：5V特征;大数据模型;目录;1.2大数据存储模式;大数据存储模式;大数据文件系统一：HadoopHDFS;HDFS整体架构;HDFS组件;HDFS特有策略;大数据文件系统一：GoogleGFS;GFS特征及适用场景;GFS架构;大数据存储形式;大数据存储形式;大数据存储形式;大数据存储实例——BigTable;TPUv2(45TFLOPS);算力发展速度;传统内存技术面临扩展性难题;集成电路工艺已接近物理极限，摩尔定律即将失效

传统冯·诺依曼计算机系统面临的主要挑战：

性能墙：存储器速度（带宽、延迟）和CPU速度差距巨大

功耗墙：数据移动带来超过系统50%的功耗

;;比DDR更大的内存容量

比SSD更快的持久数据访问

内存语义的数据持久化能力

填补了DDR和SSD之间巨大的性能鸿沟

更简洁的软硬件接口;RAMCloud：DRAM内存池;目录;1.3大数据处理模式：并行处理;1.3大数据处理模式：并行处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;1.3大数据处理模式：分布式处理;目录;1.4大数据编程模式;目录;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;1.5大数据处理体系结构;典型的大数据应用实例;???型的大数据应用实例;;

?如何设计高可扩展、低成本、快速响应的大数据存储和处理系统？;;;;;

?典型的数据并行处理平台：MapReduce;;为什么牺牲数据一致性？

牺牲可用性对互联网上的大数据

应用来说难以容忍;;大数据带来的四种思维方式的转变;存储和计算架构如何应对大数据5V特性的挑战？;大数据存储趋势1-存储器件异构化;大数据存储趋势2-存储资源池化;大数据存储趋势3-多模态数据融合管理;大数据存储趋势4-存储智能化;大数据处理7个趋势;图-流融合:图数据和实时数据的爆发增长推动图流处理模式的融合;图-流融合:图数据和实时数据的爆发增长推动图流处理模式的融合;批-流融合:一体化处理提供高吞吐低延迟数据处理;批-流融合:一体化处理提供高吞吐低延迟数据处理;大数据处理趋势2–从通用到专用;大数据处理趋势3-近数据处理;基于ReRAM的存内计算，消除“冯·诺依曼”瓶颈

数据存储：DRAM替代品，通过电导存储信息

计算功能：通过位线上的电流累加提供模拟计算;DARPA电子复兴计划:FRANC项目;欧洲千万欧元级存算一体项目;大数据处理趋势5–数据流软硬件多层次融合;;大数据处理趋势6-大数据近似计算;大数据处理趋势7-隐私计算;本章小结