ChatGPT研究资料20230404-国金证券-Alpha掘金系列之五：如何利用ChatGPT挖掘高频选股因子？(2).pdfVIP

GPT（GenerativePre-trainedTransformer）是一种大语言模型（LLM），能够学习大量文本数据，并推断出文本中

词语之间的关系。ChatGPT能够进行连续对话，综合上下文内容进行交流，能完成翻译、撰写邮件、代码等任务。该

模型相较于传统LSTM模型的改进之处在于其引用了Transformer模型，对输入数据的不同部分给予不同权重。

ChatGPT之所以能够获得如此高的智能水平，参数数量提升所带来的涌现现象（ScalingLaw）和加入RLHF（人类反

馈的强化学习）所带来的对于人类偏好理解的提升起到了重要作用。RLHF训练共分为3步，首先聘请40名标注员对

指令进行标注，对模型进行微调。然后对模型的不同输出结果进行排序，使其更符合人类预期，并利用排序结果训练

一个打分模型（RewardModel）。最终采样新的指令作为输入数据，根据打分模型进一步优化模型的输出结果。结合

打分模型训练，得到最终的ChatGPT模型。

提示工程（PromptEngineering）主要用于开发和优化语言模型中的提示，有效地将ChatGPT用于各种应用和研究主

题。掌握并应用好提示工程的技能，不仅能够提高使用人工智能系统的准确性和效率，也能够降低成本并提升使用体

验。最基本的提示公式包括角色、任务及指令三个部分，其主要目的