2025大模型发展回顾、国内外大模型进展及未来研判分析报告.pptxVIP

2025年深度行业分析研究报告;

一、大模型发展回顾：以Transformer为基，Scalinglaw贯穿始终

1.1.1、大语言模型（LLMs）的兴起——自回归架构强化文本生成能力

1.1.2、Transformer架构克服RNN长文本局限性，标志着NLP的分水岭时刻

1.1.3、Transformer拆解：包括Encoder/Decoder、注意力层、前馈神经网络层

1.2.1、预训练Transformer模型时代(2018–2020)：GPTVSBERT

1.2.2、GPT-3以1750亿参数开启了预训练侧Scalinglaw叙事

1.3.1、Transformer受限于长序列场景，计算复杂度与输入序列表现为指数增长关系

1.3.2、Mamba架构集成Transformer+RNN优势，成为Transformer架构的强劲挑战者

二、国内大模型进展：行业充分竞争，降本提效为主旋律

2.1、国内大模型：行业充分竞争，降本提效为主旋律

2.2、DeepSeek：早期确立AI战略，模型家族涵盖标准语言模型/推理模型/多模态模型2.3、豆包大模型：实时语音、视频生成/理解领域布局，2024H2发力月活冲上全球第二2.4、Qwen：AI为阿里巴巴未来战略核心，Qwen系列掀起国内模型开源革命;

一、大模型发展回顾：以Transformer为基，Scalinglaw贯穿始终;

1.1.1、大语言模型（LLMs）的兴起——自回归架构强化文本生成能力

语言模型是一种人工智能系统，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。大语言模型（LLMs）是语言模型系统的子集。大语言模型规模显著更大，通常包含数十亿个参数（例如，GPT-3拥有1750亿个参数），使得大语言模型在广泛的任务中表现出卓越的性能。大语言模型这一术语在2018至2019年间随着基于Transformer架构的模型出现开始受到关注，在2020年GPT-3发布后，LLMs开始被广泛使用。

大多数LLMs以自回归方式操作，根据前面的文本预测下一个字（或token／sub-word）的概率分布。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于文本生成。在文本生成任时，LLM通过解码算法确定下一个输出的字，这一过程可以采用的策略包括：1）选择概率最高的下??字；2）从预测的概率分布中随机采样一个字。;

1.1.2、Transformer架构克服RNN长文本局限性，标志着NLP的分水岭时刻

2017年谷歌团队提出Transformer模型，Transformer架构也标志着NLP的分水岭时刻。Transformer突破了早期模型如循环神经网络（RNNs）与长短期记忆网络（LSTMs）在捕捉长依赖及顺序处理上的难点，同时RNN和LSTMs计算低效且易受梯度消失等问题困扰。Transformer的横空出世扫清了这些障碍，重塑了该领域格局，并为当代大型语言模型发展铺设了基石。;;

1.1.4、Transformer核心点1——自注意力机制（Self-Attention）

注意力机制允许模型在解码时，根据当前生成的词动态地关注输入序列中的不同部分，有效捕捉与输出相关的输入信息，而非依赖于某个固定的上下文向量。注意力机制使得模型更容易捕捉长距离依赖关系，模型在每个时间步都可以选择关注距离较远的输入部分。数学表达上，注意力度量两个向量之间的相似性并返回加权相似性分数，标准的注意力函数接受三个主要输入，即查询、键和值向量。

例如，在电商平台搜索特定商品时，输入内容即为Query，搜索引擎据此匹配Key（涵盖商品种类、颜色、描述等），并通过计算Query与Key的相似度（即权值），得出匹配内容（Value）。;

1.1.4、Transformer核心点1——多头注意力机制：运行多个自注意力层，提升模型表达能力

Multi-headedattention（多头注意力机制）增强了自注意能力，扩展关注位置，同时为注意力层提供多个“表示子空间”。假设模型若用了8个注意头，就会有8组不同的Q/K/V矩阵，每个输入的词向量都被投影到8个表示子空间中进行计算。;

1.1.5、Transformer核心点2——前馈神经网络：

前馈神经网络是最基本的人工神经网络结构，由多层节点组成，每个节点都与下一层的所有节点相