千亿参数大模型训练推理一体化算力底座架构演进与能效优化趋势.docxVIP

千亿参数大模型训练推理一体化算力底座架构演进与能效优化趋势

目录

一、文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

百亿参数大模型的技术浪潮与算力基石地位．．．．．．．．．．．．．．．．．．2

“算力底座”概念内涵与“训练-推理一体化”架构发展趋势．．．4

构建自主可控能效优化的AI基础设施的迫切性与意义．．．．．．．．．．7

二、百亿参数大模型算力底座体系筑基．．．．．．．．．．．．．．．．．．．．．．．．8

三、百千亿级模型训练-推理一体化架构演进路径．．．．．．．．．．．．．．．9

面向在线学习场景的训练-推理闭环架构设计哲学．．．．．．．．．．．．．9

多专家模型与稀疏激活技术驱动的动态计算域．．．．．．．．．．．．．．．11

混合精度训练与推理的创新策略与硬件适配．．．．．．．．．．．．．．．．．15

端边云协同的大模型分层推理引擎框架．．．．．．．．．．．．．．．．．．．．．19

四、超大规模模型“强性能、高密度、低功耗”能效优化体系构建

能效协同优化视角下的训练算法革新．．．．．．．．．．．．．．．．．．．．．．．23

基于Chiplet架构的AI加速器片上异构集成与能效权衡．．．．．．．．27

2.1不同功能单元的分权责封装策略．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.2片上传