计算机行业深度研究-如何实现AGI：大模型现状及发展路径展望.docx

内容目录

距离AGI还有多远：语言大模型较为成熟，处于EmergingAGI水平 4

如何实现AGI：ScalingLaw仍有深入空间，底层算法框架有待升级 7

ScalingLaw：中短期内，持续扩大参数量仍能改善模型表现 9

算法改进：骨干网络架构仍有创新空间，微调及稀疏结构能够提升性价比 10

如何商业落地：借力模型开源及B端合作，寻找高人工替代率的场景 17

开源模型vs闭源模型？——ScalingLaw不再work之后，找场景或优于做模型 17

如何定义一个好场景？——“幻觉”尚未消除的世界，高人工替代率或为重点 18

如何处理“幻觉”？——ScalingLaw信仰派vs引入知识图谱改良派 19

投资建议 20

风险提示 23

图表目录

图表1：AGI可以根据性能和广泛性划分为6个等级 4

图表2：大模型可根据功能进行分类 4

图表3：海内外语言及多模态大模型进展概览 5

图表4：海内视觉及其他大模型进展概览 5

图表5：机器人涉及到的模型种类较多 6

图表6：将Transformer架构应用于机器人决策、控制等成为现阶段重要趋势 6

图表7：各类大模型能力现状 7

图表8：以OpenAI布局为例，看AGI发展路径 8

图表9：大模型训练主要环节 8

图表10：多重因素决定模型性能 9

图表11：模型性能随着模型大小、数据集大小和训练所用计算量的增加呈现幂律提升 9

图表12：参数规模更大的语言模型在训练过程中的样本效率更高且性能提升更快 10

图表13：模型参数规模对于性能提升的贡献度更高 10

图表14：Transformer模型结构及自注意力机制原理 11

图表15：根据底层骨干网络差异可以将大模型分为三类 12

图表16：三种骨干网络特点对比 12

图表17：智谱GLM-4在多项任务中能力比肩GPT-4 13

图表18：Meta-Transformer模型能够处理12种非成对的模态数据 13

图表19：扩散模型示意图 14

图表20：DiffusionTransformer模型结构 14

图表21：针对Transformer的创新研究持续推进 14

图表22：InstructGPT中的RLHF技术 15

图表23：Llama-2对RHLF的奖励模型进行改进 15

图表24：针对Transformer架构大模型的PEFT微调方法 16

图表25：MoE结构中只激活部分网络 16

图表26：2023年生成式AI融资额度与融资笔数快速提升 17

图表27：开源模型性能改善速度快于闭源模型 18

图表28：AGI演进过程中的应用场景分类 19

图表29：连接主义VS符号主义 20

图表30：知识图谱通过机器学习和自然语言处理来构建节点、边和标签的全面视图 20

图表31：大模型向AGI演进，模型训练产业链有望持续收益 21

图表32：算力产业图谱 22

图表33：建议关注AI赋能细分场景的龙头企业 22

2022年11月ChatGPT推出后，自然语言处理领域取得重大突破，正式进入大模型时代，

2023年被称为“大模型元年”；2023年3月,具备多模态能力的GPT-4惊艳发布，海内外科技巨头、研究机构等纷纷跟进；至2024年2月Sora面世，大模型在视频生成领域实现代际跃迁，虚拟现实成为可能。在此背景下，学界和业界对于大模型终局，即是否能够实现AGI（ArtificialgeneralIntelligence，通用人工智能）的讨论热度日益提升。

本文主要盘点目前各类主流大模型性能情况，试图讨论大模型性能提升并最终实现AGI

的可能路径，并分析在实现AGI过程中的相关产业链投资机会。

距离AGI还有多远：语言大模型较为成熟，处于EmergingAGI水平

根据DeedMind的创始人兼首席AGI科学家ShaneLegg的定义，AGI能够执行一般人类可完成的认知任务、甚至超越这个范围。具体而言，AGI应能够学习广泛任务，能够执行复杂、多步骤的任务。DeepMind根据AI模型性能和学习处理任务的广泛性对AGI水平进行分类，从Level-0无人工智能，到Level-5超越人类共6个等级。

图表1：AGI可以根据性能和广泛性划分为6个等级

等级

主要特征

Level-0

无人工智能（NarrowNon-AI）

只能完成明确定义的任务，比如计算器软件或编