百度-市场前景及投资研究报告-大模型研究（一）.pdf

证券研究报告 ·美股公司深度 软件与服务 百度：大模型研究笔记（一） 百度(BIDU.O)/百度集团 -SW(9888.HK) 核心观点 大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如 维持 买入 数据清洗、初始化策略、大批量训练等。另一方面，模型压缩与 内存管理、计算能力、下游部署等可能是大模型产品化落地的关 键技术，有望打开未来to C 市场的想象空间。我们认为中长期AI 发布日期： 2023 年05 月 14 日 领域具备广阔前景，看好百度在AIGC 领域的布局和先发优势。 当前股价： 118.90 美元 目标价格 6 个月： 140 美元 大模型研究笔记 （一） 现有的市场研究主要聚焦下游应用，即大语言模型能够实现什么 功能，满足什么市场需求，而将大语言模型本身视为黑匣子，缺 乏对语言模型本身机制的研究。本篇报告主要是对学界在 LLM 模型架构、预训练各环节、下游调优等领域的探索进行系统梳理， 旨在增进市场对LLM 技术原理的理解。需要指出的是，由于相 关文献较多，本报告可能存在遗漏，并引致风险。 模型结构方面，现有的主流模型均基于Transformer 架构。行业 发展的关键节点在于 1）下游任务逐渐被统一；2 ）研究总结出 主要数据 Scaling Law，从而催生规模竞赛；3 ）Google 团队提出CoT 研究， 股票价格绝对/相对市场表现（%） 大模型+CoT prompt 效果显著提升。因此，此前行业主流范式是 训练更大的模型，通过引入代码数据等方式激活模型的潜在能 1 个月 3 个月 12 个月 力。但一些最新研究表明规模效应带来的涌现可能是度量选择的 -17.99/-19.80 -19.70/-24.08 11.52/5.64 结果，规模带来的性能提升可能没有此前的研究所表明的那么显 12 月最高/最低价（美元） 160.22/76.57 著，因而引发一些对进一步推动规模扩展的谨慎观点。 总股本（万股） 34,959.72 流通股本（万股） 27,751.54 预训练仍存在非常充分的优化空间。1）训练数据集上，当前参数 总市值（亿美元） 415.67 规模相比数据集过度扩张明显，训练数据集一定程度上制约了性 流通市值（亿美元） 415.67 能的提升。另一方面，数据集扩大可能带来重复数据的问题，而 研究表明训练中的重复数据会显著影响模型的性能提升，因此对