- 1、本文档共27页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
大模型场景下智算平台的设计与优化实践肖松2024.06.14
国产卡怎么用?能否与NV卡一起使用?我资源比较少,几十卡的规模,如何提升卡的利用率?我的模型跑起来耗时长,能加速吗?我想跑大模型,需要多少资源?网络如何构建?多长时间能跑完?引言不同时期对智算平台的需户A客户B客户C客户D2
01大模型时代,智算平台新特点402智算平台需解决的问题603大模型场景技术实践804对于智算平台发展的未来思考25目录
01大模型时代,智算平台新特点小模型vs.大模型
训练时长训练成本参数1800B算力8192块H100大模型时代,智算平台新特点小模型vs.大模型数据13T*数据来源:非官方数据,为业界推测增强:参数爆炸突破显存墙,多机多卡成为常态增强:卡间和机间高性能通信愈发重要维持:GPU切分在小模型和推理场景依然存在新增:新卡适配和芯片利旧,多芯混合调度增强:耗时长凸显大模型训推加速需求新增:成本高带来稳定性需求,减少资源闲置新增:数据集处理加速新增:数据湖存储和高性能存储55天158秒$2150万$15参数25M(0.025B)ResNet50(小模型)算力128块V100GPT-4(大模型)数据167G(ImageNet)训练时长训练成本工程问题新要求vs.5
02智算平台需解决的问题基础设施、调度、应用、运维
任务管理?多种AI框架和并行策略支持?AI任务调度和任务流管理?云原生容器化运维资源管理?大规模异构算力高效调度和分配?算力虚拟化算力?适配多种异构芯片?固件、OS内核、驱动兼容?混合多芯存储?优化存储读写性能?镜像加速、镜像预铺网络?搭建和调试高性能网络智算平台需解决的问题调度应用基础设施?训练任务的性能优化?任务的监控和容错?FlashCheckpoint?数据集下载和转储加速?数据集的清洗和加工处理?推理任务的性能优化?在线服务的监控告警基础设施、调度、应用、运维推理数据训练百度智能云7
03大模型场景技术实践基础设施层
基础设施——混合多芯国产卡能否与NV卡一起使用?拟合性能系数统一并行策略AI效能矩阵图谱通信整合9
TCP镜像加速超大镜像预加载P2P镜像分发流式镜像拉取训练数据加速高性能并行文件系统全SSD闪存RDMA链路加速模型加速大吞吐数据湖存储分布式缓存加速托管BCC/BBC集群如何实现数据集加速?如何I/O加速? 镜像服务流式读取P2P加速对象存储BOS标准存储低频存储冷存储归档存储基础设施——高性能存储分布式缓存加速存储RapidFS并行文件存储PFSTCP/InfiniBand/RoCEMEMDISKEMEMKDISKDISKDISMEMMM10
3层无收敛RDMA网络UptoUpto512512Upto16K+Tor拓扑感知调度NCCL通信拓扑感知基础设施——高性能网络如何实现通信库加速?
03大模型场景技术实践调度层
用户态方案CUDAdriverAPI,提供显存限制,算力时分复用CUDAruntimeAPI,提供远程调用,显存限制,算力时分复用内核态方案内核模块修改,提供显存限制,算力时分复用Full/para-虚拟化,内核模块修改,MMIO拦截,显存划分,算力时分复用NV官方,硬件划分,提供显存划分、算力划分、编解码划分(1/7)SR-IOV,硬件划分,提供显存划分、算力划分(1/3、1/2)调度——GPU虚拟化如何提高单卡资源利用率?NvidiaMIG昆仑2SR-IOV硬件方案13
调度——GPU虚拟化双引擎GPU虚拟化优势:性能好,长尾延迟低缺点:故障隔离差优势:故障隔离好缺点:有一定性能损耗用户态内核态14
调度——资源管理和调度逻辑如何调度资源?PodGroup Pdd配额管理资源调度RDMA异构芯片(独占/共享)CPU/MEM
您可能关注的文档
- 数说奥运 开学第一课 课件-2024-2025学年五年级数学上册人教版.pptx
- 钢筋施工专项施工方案.doc
- 九年级英语新人教版unit1--3测试题.doc
- 做最美教师演讲稿.doc
- 供应链管理第九章课后案例分析.ppt
- 识字1场景歌(课件 )2024-2025学年统编版语文二年级上册.pptx
- 识字1场景歌(课件)2024-2025学年统编版语文二年级上册 (1).pptx
- 《8、7、6加几 》(课件)-2024-2025学年一年级上册数学人教版 (1).pptx
- 《实际问题与方程》(课件)-2024-2025学年五年级上册数学人教版 (1).pptx
- 《8、7、6加几 》(课件)-2024-2025学年一年级上册数学人教版.pptx
- 2《花的学校》课件-2024-2025学年统编版语文三年级上册.pptx
- 1.5相关链接 数字编码(课件)-2024-2025学年四年级上册数学青岛版.pptx
- 11-20的读写和数序(课件)-2024-2025学年一年级上册数学青岛版(2024).pptx
- 识字1场景歌(课件)2024-2025学年统编版语文二年级上册.pptx
- 《8、7、6加几 》(课件)-2024-2025学年一年级上册数学人教版.pptx
- 《自行车里的数学》(课件)-2023-2024学年六年级下册数学人教版.pptx
- 1、武功:武术功夫学练。2、拳术:五步拳传授(教学设计)-2023-2024学年人教版体育六年级下册.docx
- 《8、7、6加几 》(课件)-2024-2025学年一年级上册数学人教版 (2).pptx
- 第一单元第一课天天锻炼身体好(课件)-2024-2025学年体育与健康一年级全一册.pptx
- 2《 丁香结》(课件)2024-2025学年统编版语文六年级上册.pptx
企业信息化,EA框架,战略规划,流程重构,EBPM方面交流与学习。熟悉大型ERP,PLM系统,以及基于ARIS系统的EA架构搭建
文档评论(0)