大模型技术及行业应用介绍-腾讯云.docxVIP

技术新突破、产业新发展

XX云智慧传媒行业中心2025.02

DeepSeek、XX云产品情况介绍

AI正以指数级速度重塑全球科技格局，大模型持续取得突破，推动人工智能从感知向认知、从分析判断式向生成式、从专用向通用转变，进入快速发展的新阶段大模型作为核心驱动力持续突破认知边界。

全球AI大模型的数量已超过1300个，中国已备案的大模型超过300个

混元

R1/V3Large/Turbo

2.0/Long

豆包Pro/3D

4.0/4.5

kimi

Moonlight

o3-mini3.5Grok-3

Llama3.3

AI

多模态融合与场景建模

模型参数量从亿级到万亿级增长，跨模态生成能力持续增强，视觉、语音、文本联合建模多模态架构统一

推理与逻辑能力突破

算法与架构不断创新，思维链持续迭代，科学推理不断优化，逻辑错误将持续降低，支持支持复杂科学模拟

轻量化与边缘计算

大模型对资源要求持续降低，未来模型在PC、手机端运行将会实现

智能体[Rgent]进化

AIAgent结合多步推理和工具调用能力，实现跨学科科研任务端到端解决

DeepSeek是“深度求索”开发的一系列人工智能模型。DeepSeek通过持续的技术创新和市

场拓展，在自然语言处理和大型语言模型方面取得了显著进展，在国际市场上获得了广泛认可。其中：

DeepSeek-V3是在14.8万亿高质量token上完成预训练的一个强大的混合专家(MoE)语言模型，拥有6710亿参数（激活参数370亿）。作为通用大语言模型，其在在知识类任务

（知识问答、内容生成等）领域表现出色。

DeepSeek-R1是基于DeepSeek-V3-Base训练生成的强化推理能力模型，在数学、代码生成和逻辑推断等复杂推理任务上表现优异。

更低的研发成本米

$5.67vs.openRIs$100T+

更高效资源利用

使用~2,000GPUS,竞品使用10,000+GPUS

开源模型比肩头部闭源

60%+指标优于

Llama3.1claude-3.5GPT-40

打破大模型技术壁垒

重挫美国科技公司股价,英伟达市值下跌5900亿

DeepSeek

Deepseek-moE

2024年1月

DeepseekmoE架构

●细粒度专家划分:将专家颗粒度划分更细,每次token计算从中选择最适合的专家进

行计算,提高计算资源的利用率。

●专家分离:把激活专家区分为共享专家(sharedExpert和独立路由专家(Routed

Expert],有利于将共享和通用的知识压缩进公共参数,减少独立路由专家参数之间的

知识冗余。

Deepseek-刀ath

2024年4月

GroupRelativepolicyoptimizationGRPO,群体

相对策略优化)

采用组相对策略优化[GRPO替代复杂的近端策略优化(PPOJ。GRPO无需单独的

价值模型,采用基于组的相对优势估计(通过比较一组样本的表现来决定哪些策略应被

保留或改进。类似于自然界中的优胜劣汰,只有那些表现优于平均水平的策略才能生

存下来并进一步进化],显著降低内存和计算开销,减少RL训练过程中的资源消耗,还

增强了模型的数学推理能力。

Deepseek-v2

2024年6月

Tulti-HeadLatentRttentionImLA,多头隐式注意

围绕着如何减少kvcache的同时尽可能地保证效果,实现在更少的设备上推理更长的

context,或者在相同的context长度下让推理的batchsize更大,从而实现更快的推理

速度或者更大的吞吐总量。最终实现更低的推理成本。

Deepseek-v3

2024年12月

multi-Tokenprediction[mrp,多令牌预测)、Al

Infra相关(主要是训练加速,如FP8混合精度训练、

Dualpipe等]

采用多令牌预测技术,让模型在训练时,一次性预测多个未来token,而不是仅仅预测

下一个token。有效提升样本的利用效率,提升训练效率。

Deepseek-R1-zero

2025年1月

通过纯强化学习显著提升模型推理能力,R1-zero在AImE2024等推理基准测试达到openAlmao1ma0912的水

平

Deepseek-R1-zero是第一个公开的研究,验证了LLm的推理能力可以完全通过强化

RL]来激励,而