大模型系列报告(一)：Transformer架构的过去、现在和未来-财通证券.docxVIP

计算机

计算机/行业__题报告/2025.01.19

大模型系列报告?一ā?Transformer架构的过

去1ā在和未来

投资评级

投资评级:看好(维持)

最à12o^场表ā

计算机沪深300P证指数

41%

28%

16%

3%

-10%

-22%

分析师杨烨

SAC证书编??S0160522050001yangye01@

相s报告

相s报告

1.:电力信o化研究框架??一ā总章;2025-01-14

2.:英__达GB300含苞à放，s注液冷和电源?节;2025-01-14

3.:智驾o报?车^表ā强劲，首个Robotaxi法规出炉;2025-01-12

证券研究报告

核心ê点

核心ê点

Transformer架构的过去和ā在?人类大脑在p限的资源条tQ，通过神经元回路的自ā装和微调，实ā了高效的信o处理2~了`化信o处理，大脑发展了高效的信o选择和投注机制——注意力，而非依赖超大容à的处理能力2随着s们对大脑认知机制的深入了解?及计算机科学的?m，研究人员尝试通过算法à化大脑的认知?能，将人类的思维模式映射到人工智能P2

Transformer是一种基于注意力机制的神经网络架构，由GoogleBrain团队于2017年在论文:AttentionIsAllYouNeed;中e出2通过摒``统循?结构，Transformer利用自注意力机制并行处理序列元素，显著e升了ˉ?速度和长距离依赖建模能力2Transformer架构的灵活性，使wr~__多非自然语言处理领域Y?模型构建的基础框架，展ā出广阔的T用前o，包括但O限于能够将O\模态的数据映射到统一的特à表示空间，促?跨模态T用发展2目前，人工智能大模型的?化主要依赖于人工版本的更新2而随着技术的发展，研究人员k在探索自s?化的模型，使w能够自主完善和学`由自身生r的经验，D而èú人工智能U更高级的智能发展2`前AI的局限性或在于w学`效率的PQ，而非数据O足2真k的智能O仅是数据à的堆?,而是在于对信o的压缩和e炼，类似于通过总结第一性原理的方式获×更深层l的智能2

Transformer架构的未来?}管Transformer凭借着ā多`势r~如今的主流架构，但w并非}善}美，?p无法?免的局限性，例如计算复g度高和计算r本高2目前对Transformer架构的未来，主要p两条道路，一是被更`ù的全新架构??,D是在原p架构基础P通过`化注意力机制等方式?行升级，à两条道路都是通?计算复g度更P1计算r本更P1效率更高à个目标2目前研究人员k在?极探索可能×?或增强Transformer的全新架构，并e出了数个潜在的??架构，例如RetNet1Mamba1RWKV1Hyena1线性注意力机制等2无论选择哪条路?,最ā的目标都是实ā更高的性能1更强的泛化能力1更P的资源消耗，?èúAI在更多实×场o中的T用，\时?w更à可持续的n惠化的发展2

投资建°?短期来看，Transformer架构依然是大模型的主流，建°T点s注基础?施领域的公ù,如英__达1海Z信o1寒n纪1`创数据1英维克1中科曙Z1浪潮信o1润泽科技1欧?通1曙Z数创等，\时持续s注全球各大模型厂商1学界的创新?展2

风险e示?技术迭?O及预期的风险ā商业化落地O及预期的风险ā政策支持O及预期风险ā全球宏ê经济风险2

?阅ü最^一页的T要声明！

行业__题报告

行业__题报告/证券研究报告

内容目录

内容目录

1Transformer架构的过去和ā在 4

1.1人脑带来的启示?数据的无损压缩 4

1.2TransformerT?而生?Attentionisallyouneed 6

1.3Transformer的`势?规模扩展1多模态能力 9

2Transformer架构的未来 12

2.1Transformer架构的局限性 12

2.2Transformer架构的挑战者 13

2.2.1RetNet 14

2.2.2Mamba