训练语言模型遵循人类反馈分析报告.pdfVIP

[Table_Main] 证券研究报告 | 金融工程专题 文献精译 2022 年03 月16 日 金融工程专题 训练语言模型以遵循带有人类反 金融工程专题 馈的指令 姓名 ——德邦金工文献精译第八期 资格编号：S11305XXXXXX [Table_Summary] 投资要点： 邮箱：xxxxx ＠  这篇报告介绍了ChatGPT 语言模型使用的技术。论文标题是《Training language models to follow instructions with human feedback》，于2022 年3 月4 日预发布 于ArXiv ，论文介绍了OpenAI 的InstructGPT 模型。ChatGPT 模型并未公开发表 相关研究 具体实现方式，但ChatGPT 模型是基于 InstructGPT 模型进化而来的版本，它们 1. 《股价是否充分反映了业绩中应计 同属于OpenAI 的GPT3.5 系列模型。 和现金流部分所蕴含的未来盈利信 息?——德邦金工文献精译第七期》  构建InstructGPT 模型需要一个预训练模型、一个 “提示”集合以及若干标注员： 2022.07.13 1） InstructGPT 模型是基于 OpenAI 先前发布的 GPT-3 系列模型基础上一系列 2.《资产配置：管理风格和绩效衡量— 微调改进的模型；2）“提示”集合是部分用户请求OpenAI API 生成的以及标注员 —德邦金工文献精译第六期》 生成的数据集合，这部分数据使得模型更好的读懂用户的意图；3）40 个数据标注 2022.07.11 员对该论文模型的输出进行人类反馈，得到了强化学习训练所需要的奖励模型。 3.《规模很重要，如果控制了绩差股—  训练InstructGPT 模型的步骤如下：1）收集演示数据，训练监督策略。使用标注 —德邦金工文献精译第五期》 员团队提供的演示数据、使用监督学习方法对预训练GPT-3 模型进行微调；2）收 2022.05.28 集比较数据，训练奖励模型。给定“提示”，让模型产生多个输出，标注人员对其 4. 《中国股市的规模和价值因子模型 好坏进行排序，训练一个奖励模型来预测人类的偏好；3）使用 PPO 算法根据奖 ——德邦金工文献精译第四期》 励模型优化策略。用奖励模型的输出作为标量奖励，使用强化学习PPO 算法来进 2022.04.22 一步微调第一步的监督模型。第二步和第三步可以连续迭代：更新后的策略可以训 练出新的奖励模型，转而又优化新的策略。 5. 《机器学习驱动下的金融对不确定 性的吸收和加剧——德邦金工文献精  InstructGPT （最小13 亿参数量）的效果显著优于GPT-3 （1750 亿参数量）。 论 译第三期》2022.02.11 文结果表明，使用人类反馈进行微调是使语言模型符合人类意