昇腾DeepSeek解决方案.pptx

把握DeepSeek时刻，携手同行

华为昇腾Al解决方案汇报;;

DeepSeek是Al发展史上的一个关键里程碑，但远未达到Al终点;

技术创新

硬件级、算法级、架构级、工程级、开源生态5大技术创新，轰动全球

·绕过GUDA进行PTX编程

硬件级优化·计算与通信优化，性能提升30%

·GRPO:群体进化的智慧筛选器

算法革命·自我验证机制：Al的错题本系统

·混合专家模型的智能路由器

·多头潜在注意力MLA:空间压缩术

·训练框架加速：16到3的量化压缩，通信降低89%

·推理加速：预加载，动态批处理等

·模型、数据、工具链、部署全开源

·蒸馏技术使能第三方模型性能;

DeepSeekR1:在Reasoning任务达到了世界水平(OpenAl-01);;

ts

hrpCrossEntropyLoss

MTPModule2

Nettoienedkction)

OutputHead

TransformerBlockTransformerBlock

LinearProjection

Tcorcatnotian

RMSNormRMSNorm

Embedinglarer

hputTokenst?t?ttttt4;;

DeepSeek通过从模型结构到训推全流程的优化，带来大模型新范式

DeepSeekV3/R1,大幅提升从训练到推理的计算效率，降低模型创新及应用落地的门槛;

训练算力需求(PFLOPS)

Groq4

Hunyuan

极致性能、稳定可靠的Al集群

深度开放的平台和生态

·

②工程创新

新一轮百模千态

GPT-3/3.5175B●GLM-130B

注便捷、易用、性价比的平台

DeepSeek-R1-Distill-Qwen-32B

开箱即用的强化学习套件

GBERT-Large

GTransformer

AlexNet;

开箱即用的一体机，加速大模型应用落地

教育医疗

云服务硬件+社区

钉钉一体机

电信息壤一体机

昇腾社区

新致金融一体机

同花顺一体机

京东云

诸多厂家推出一体化方外提伊务/自用

硬件+开源模型+RL套件+ISV/云，商业模式逐渐成熟;

模型服务商;

模型参数：14B/32B

DeepSeek-R1-Distll-Qwen-32B

DeepSeek-R1-Distill-Qwen-14B;

模型集合;

DeepSeek洞察及昇腾适配进展;

ModelArts应用使能

训练平台/推理引擎/模型套件/SDK

Al计算框架

昇思MindSpore

PyTorch/TensorFlow/Caffe……

异构计算架构

CANN

Atlas及昇腾伙伴系列硬件

模组/小站/加速卡/服务器/集群

昇腾处理器

昇腾310系列/昇腾910系列…;TensorRTplugins

parser

NVNCCL

NVCUTLASS

NVCUDA-C

NVcuDNN;

模型训练：算网/算存深度协同是大模型分布式并行训练的基础

大模型技术发展方向

干亿稠密/万亿稀疏超长序列多模态

更大规模/更复杂的组网更复杂的模型及数据切分更大(模参据数量、Ch…读)写;

算子深度融合

“工序合并”减少计算数据搬入搬出的时间及内存开销;

场景/应用;;

GPT-3参数：13B/100B/175B

已测试客户：YD、MY、ZJ

LLaMA-3参数：7B/13B/70B

已测试客户：TYY、YD、BOSS、MY、360、MT、

CA、HWY、CGCSYS

GLM-3参数：6B/10B/130B

已测试客户：ZP、BJYH、YC

CXJH、MT、LTY

Qwen-2参数：7B/72B

已测试客户：DX、VIP;

场景;

DeepSeekV3/DeepSeekR1