20230316-金工文献精译第八期-训练语言模型以遵循带有人类反馈的指令-德邦证券-30页.pdf

[Table_Main]证券研究报告|金融工程专题

文献精译

2022年03月16日

金融工程专题训练语言模型以遵循带有人类反

金融工程专题

证券分析师馈的指令

肖承志姓名——德邦金工文献精译第八期

资格编号：S0120521080003资格编号：S11305XXXXXX

[Table_Summary]

投资要点：

邮箱：xiaocz＠邮箱：xxxxx＠

研究助理这篇报告介绍了ChatGPT语言模型使用的技术。论文标题是《Traininglanguage

modelstofollowinstructionswithhumanfeedback》，于2022年3月4日预发布

于ArXiv，论文介绍了OpenAI的InstructGPT模型。ChatGPT模型并未公开发表

相关研究

具体实现方式，但ChatGPT模型是基于InstructGPT模型进化而来的版本，它们

1.《股价是否充分反映了业绩中应计同属于OpenAI的GPT3.5系列模型。

和现金流部分所蕴含的未来盈利信

息?——德邦金工文献精译第七期》构建InstructGPT模型需要一个预训练模型、一个“提示”集合以及若干标注员：

2022.07.131）InstructGPT模型是基于OpenAI先前发布的GPT-3系列模型基础上一系列

2.《资产配置：管理风格和绩效衡量—微调改进的模型；2）“提示”集合是部分用户请求OpenAIAPI生成的以及标注员

—德邦金工文献精译第六期》生成的数据集合，这部分数据使得模型更好的读懂用户的意图；3）40个数据标注

2022.07.11员对该论文模型的输出进行人类反馈，得到了强化学习训练所需要的奖励模型。

3.《规模很重要，如果控制了绩差股—训练InstructGPT模型的步骤如下：1）收集演示数据，训练监督策略。使用标注

—德邦金工文献精译第五期》员团队提供的演示数据、使用监督学习方法对预训练GPT-3模型进行微调；2）收

2022.05.28集比较数据，训练奖励模型。给定“提示”，让模型产生多个输出，标注人员对其

4.《中国股市的规模和价值因子模型好坏进行排序，训练一个奖励模型来预测人类的偏好；3）使用PPO算法根据奖

——德邦金工文献精译第四期》励模型优化策略。用奖励模型的输出作为标量奖励，使用强化学习PPO算法来进

2022.0