生成式AI迎来拐点，ChatGPT商用落地.pdfVIP

行业专题研究 1. ChatGPT横空出世，多重技术孵化第三代GPT语 言模型 1.1. OpenAI搭建聊天机器人ChatGPT实现多种功能 ChatGPT是由人工智能研究公司OpenAI创建的聊天机蓉人，于2022 年11月首次发布.程序运行遵循对•话形式，能够生成预训练转换器， 星于对方反馈回答后续 题、承认错误、挑战不正确的前提和拒绝不适 当的请求等.聊天机器人可用于回答 题、创建副本、起草论文、调试 代码和生成故事等，并可以在几秒钟内制作出500字的指南• 图1： ChatGPT可根据人的需要创建内容或脚本等 ChatGPT是基于OpenAI “GPT3.5”深度学习语言模型的橄调版本. ChatGPT使用一种称为“来自人类反馈的强化学习” （RLHF ）的方法进 行训练。这意味着用户与程序进行对话时，同时还扮演了 “AI助手”的 角色，其作用是基于实际模型编写建议，然后将新的对话与OpenAI的 InstructGPT数据集混合。最后，该公司通过获取“AI助手”与聊天机 器人的对话，并让“AI助手”对不同的程序反应进行排名，创建奖励模 型，利用类似“人类划重点”、 “强化学习”等更多的思路提升模型效率. 图2： ChatGPT ＜用RLHF法训练，创立奖励模型以提升其效率 3 of 21 行业专题研究 9Mp3 CoMect demonstration data OpbmUe • policy aoainst the and tmn a supervised poUq( reward modd using the PPO rvtnforc«nwnt tearrang l Qorlthrn. pcon^tts prompt and