智猩猩DeepSeek大解读系列公开课第一期课件-DeepSeek V3R1架构的深度分析与深度思考-.pptxVIP

DeepSeekV3/R1架构的

深度分析与深度思考;

报告人简介

陈巍博士领域：大模型+AI芯片

?陈巍博士，大模型+AI芯片专家，高级职称，中存算董事长。国际计算机学会（ACM）、中国计算机学会

（CCF）专业会员，多个国际人工智能期刊审稿人。

?主要研究方向为大模型架构、稀疏量化压缩与部署加速，存算一体与3DChiplet处理器，相关技术成果已被广泛应用于知名IDC和互联网企业。

?曾任领域知名人工智能（自然语言处理）企业首席科学家，中国科学院副主任（2012），多个国家科技重大专项课题负责人。中国与美国发明专利软件著作权约70+项（约50+项发明专利已授权）。著有《Sora大模型技术精要—原理、关键技术、模型架构与未来趋势》

《GPT-4大模型硬核解读》《DeepSeek是否有国运级

的创新？2万字解读与硬核分析DeepSeekV3/R1的架构》等。

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

大语言模型的本质

?知识，是指人类在实践中认识（计算）客观世界的成果

?大语言模型本质上是“对知识的压缩（存）+对输入的反馈（算）”

模型能力=模型大小x压缩倍数x反馈能力系数

or模型能力=(模型大小x压缩倍数+向量数据库大小)x反馈能力系数

?Knowledgeiscomputingpower（知识就是算力）

?视频大模型的性能与其“知识”体量密切相关

本人2024年12月的公开预测：

?视频大模型参数量未来会达到主流文本大模型的1-3个数量级

?3年内日常生活算力需求至少提升1个数量级（提前实现？）

?拥有数据最多的企业将是具身智能机器人企业;

1Scalinglaw与Mooreslaw的范式共生

2DeepSeek的架构提升与既要又要

3V3/R1训练架构与软硬件协同进化

4V3/R1训练流程与RL变幻莫测的潜力

5从DeepSeek到算力竞赛的深度思考

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

回顾ScalingLaws

ScalingLaws，也称为缩放定律或规模定律，是描述

模型性能如何随着模型规模（如参数数量）、训练数据集大小以及用于训练的计算资源增加而提升的一组

经验法则

模型大小与性能的关系;

大模型成本的下降（来源：semianalysis）

每年算法进步的速度为4倍，意味着每过一年，实现相同能力所需的计

算资源减少4倍

事实上等效于(Moore’slaw)^2;

MoE（MixtureofExperts）是组合多个专家模型提升深度学习

模型性能和效率的架构。其核心思想是通过引入多个专家模型（Experts），每个输入数据只选择和激活其中的一部分专家模型进行处理，从而减少计算量，提高训练和推理速度。MoE的概念在1991年就已提出，训练不容易收敛是MoE在大模型领域应用的主要障碍。;

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

1Scalinglaw与Mooreslaw的范式共生

2DeepSeek的架构提升与既要又要

3V3/R1训练架构与软硬件协同进化

4V3/R1训练流程与RL变幻莫测的潜力

5从DeepSeek到算力竞赛的深度思考

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

更高性能的模型

更好训练的模型

更低成本的模型;

DeepSeek-V3/R1

DeepSeek-V3是一个混合专家（MoE）语言模型，具有6710亿(671B)参数，其中每个Token（词元）的计算约激活370亿（37B）参数。这个模型参数量与GPT-4大致在同一数量级

DeepSeek-R1的模型架构来自于V3，甚至可以说R1是具有推

理（Reasoning）能力的V3

R1模型族

广义上的DeepSeek-R1不是一个单一的模型，还包括了R1

的初始阶段模型DeepSeek-R1-Zero，以及几个基于R1蒸馏的较小的大模型

主要架构特点

采用了多头潜注意力（MLA，对传统多头注意力机制的改进)

DeepSeekMoE架构（对传统MoE架构的改进）

无辅助损失的负载平衡策略等创新技术

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

陈巍：DeepSeekV3/R1架构的深度分析与深度思考;

GQA

目前开源大模型中的主流方法是分组查询注意

力（Grouped-QueryAttention）机制。在这种机制中，为每对键