01哈尔滨工业大学：ChatGPT调研报告.docx

ChatGPT调研报告（仅供内部参考）

2023

2023年3月6日

更多干货请关注：公众号：历史的光影

自然语言处理研究所（HIT-NLP）

更多干货请关注：公众号：历史的光影

ChatGPT调研报告

序言

2022年11月30日，OpenAI推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT表现出了非常惊艳的语言理解、生成、知识推理能力，它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT上线后，5天活跃用户数高达100万，2个月活跃用户数已达1个亿，成为历史上增长最快的消费者应用程序。除了被广大用户追捧外，ChatGPT还受到了各国政府、企业界、学术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。

哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从技术原理、应用场景、未来发展等方面对ChatGPT进行了尽量详尽的介绍及总结。

本报告仅供内部参考。

主要编撰人员

第一章由车万翔、杨沐昀、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子彧编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。

报告整体由车万翔统稿。

2

ChatGPT调研报告

目录

第一章ChatGPT的背景与意义6

1.1自然语言处理的发展历史 6

1.2大规模预训练语言模型的技术发展历程 8

1.3ChatGPT技术发展历程 8

1.3.1ChatGPT的相关技术 10

1.3.2ChatGPT技术发展脉络的总结 11

1.3.3ChatGPT的未来技术发展方向 12

1.4ChatGPT的优势与劣势 13

1.4.1ChatGPT的优势 13

1.4.2ChatGPT的劣势 15

1.5ChatGPT的应用前景 16

1.5.1在人工智能行业的应用前景及影响 17

1.5.2在其他行业的应用前景及影响 17

1.6ChatGPT带来的风险与挑战 19

第二章ChatGPT相关核心算法24

2.1基于Transformer的预训练语言模型 24

2.1.1编码预训练语言模型（Encoder-onlyPre-trainedMod-

els） 24

2.1.2解码预训练语言模型（Decoder-onlyPre-trainedMod-

els） 25

2.1.3基于编解码架构的预训练语言模型（Encoder-decoder

Pre-trainedModels） 28

2.2提示学习与指令精调 30

2.2.1提示学习概述 30

3

ChatGPT调研报告

2.2.2ChatGPT中的指令学习 31

2.3思维链（ChainofThought，COT） 32

2.4基于人类反馈的强化学习（ReinforcementLearningwithHu-

manFeedback，RLHF） 33

第三章大模型训练与部署35

3.1大模型并行计算技术 35

3.2并行计算框架 36

3.3模型部署 40

3.3.1预训练模型部署的困难 40

3.3.2部署框架和部署工具 41

3.3.3部署技术和优化方法 43

3.4预