20230404-国金证券-Alpha掘金系列之五：如何利用ChatGPT挖掘高频选股因子？(2).pdfVIP

GPT（GenerativePre-trainedTransformer）是一种大语言模型（LLM），能够学习大量文本数据，并推断出文本中

词语之间的关系。ChatGPT能够进行连续对话，综合上下文内容进行交流，能完成翻译、撰写邮件、代码等任务。该

模型相较于传统LSTM模型的改进之处在于其引用了Transformer模型，对输入数据的不同部分给予不同权重。

ChatGPT之所以能够获得如此高的智能水平，参数数量提升所带来的涌现现象（ScalingLaw）和加入RLHF（人类反

馈的强化学习）所带来的对于人类偏好理解的提升起到了重要作用。RLHF训练共分为3步，