大语言模型的前世、今生与未来.pdf

行业深度分析报告/ 内容目录 1 大语言模型：NLP 技术的奇点时刻 4 1.1 技术探索：深度学习加速推进数据的无损压缩 4 1.2 技术应用：预训练语言模型成为NLP 主流 5 1.3 技术跃迁：大语言模型可能打开通往AGI 之路 5 2 OpenAI 与GPT ：算法、工程、商业的融合 6 2.1 GPT 系列模型的发展历程：千锤百炼，终见“涌现” 6 2.2 如何训练一个ChatGPT ：预训练获得“智商”，指令微调提升“情商” 7 2.3 模型智能的“涌现”是生成式AI 浪潮的充要条件 8 3 大模型应用：数据感知与代理（Agent）能力 10 3.1 外部数据：三条融合垂域数据打造大模型的技术路径 10 3.1.1 Fine-Tuning 与In-Context Learning 的实现方式案例 11 3.2 代理（Agent）：为大模型加上四肢，强化复杂任务处理能力 13 3.2.1 与计算机内部交互：插件（Plugins）与代码解释器（Code Interpreter） 13 3.2.2 与物理世界交互：Robotics Transformer 2 （RT-2） 14 3.3 上下文长度：应用创新的关键靶点 15 3.4 “大”模型“小”型化：应用落地的降本之道 16 4 应用分析框架：通用能力与外部能力的组合 17 5 投资建议 18 6 风险提示 19 图表目录 图1. 人工智能底层算法的探索历程（1958-2017 年） 4 图2. 自然语言处理（NLP）发生的三次技术范式转移 5 图3. 本次以GPT 为代表的生成式AI 技术进步路线图 6 图4. OpenAI 的GPT 系列模型发展历程 7 图5. GPT 模型训练流程 8 图6. 当模型规模达到一定程度时将会出现“涌现”现象 9 图7. 思维链提示可以显著提升大语言模型的性能 9 图8. 打造垂域模型的三种基本方法 10 2 行业深度分析报告/ 图9. Delta-Tuning 是对LLM 参数高效的微调范式 12 图10. Langchain+向量数据库打造企业专属知识库问答系统 12 图11. 大模型驱动的自主代理系统 13 图12. OpenAI 发布首批70 余款GPT-4 插件 14 图13. 执行逻辑计算的代码解释器插件示例 14 图14. 机器人控制与思维链推理结合示例 15 图15. 大模型驱动的自主代理系统 16 图16. 模型小型化的主要实现路径 16 图17. 参数量化能够显著降低大模型的推理成本 17 3