（94页PPT）哈尔滨工业大学ChatGPT调研报告1mb.pptxVIP

C（h仅atG供P内T部调参研考报）告;ChatGPT调研报告;ChatGPT调研报告;ChatGPT调研报告;ChatGPT调研报告;ChatGPT调研报告;ChatGPT调研报告;ChatGPT调研报告

术能持续多久呢？如果大胆预测，可能是2到3年，也就是到2025年大概又要更新换代了。

大规模预训练语言模型的技术发展历程

大规模预训练语言模型（简称大模型）作为ChatGPT的知识表示及存储基础，对系统效果表现至关重要，接下来对大模型的技术发展历程加以简要介绍。

2018年，OpenAI提出了第一代GPT（GenerativePretrainedTrans-former）模型[1]，将自然语言处理带入“预训练”时代。然而，GPT模型并没有引起人们的关注，反倒是谷歌随即提出的BERT（BidirectionalEncoderRepresentationsfromTransformers）模型[2]产生了更大的轰动。不过，Ope-nAI继续沿着初代GPT的技术思路，陆续发布了GPT-2[3]和GPT模型GPT-3[4]。

尤其是GPT-3模型，含有1,750亿超大规模参数，并且提出“提示语”

（

完成该任务，如：输入“我太喜欢ChatGPT了，这句话的情感是 ，那”么GPT-3就能够直接输出结果“褒义”。如果在输入中再给一个或几个示例，那么任务完成的效果会更好，这也被称为语境学习（In-contextLearning）。更详细的技术细节推荐阅读相关的综述文章[5-8]。

不过，通过对GPT-3模型能力的仔细评估发现，大模型并不能真正克服深度学习模型鲁棒性差、可解释性弱、推理能力缺失的问题，在深层次语义理解和生成上与人类认知水平还相去甚远。直到ChatGPT的问世，才彻底改变了人们对于大模型的认知。

ChatGPT技术发展历程

2022年11月30日，OpenAI推出全新的对话式通用人工智能工具——ChatGPT。据报道，在其推出短短几天内，注册用户超过100万，2个月活跃用户数已达1个亿，引爆全网热议，成为历史上增长最快的消费者应用程序，掀起了人工智能领域的技术巨浪。

ChatGPT之所以有这么多活跃用户，是因为它可以通过学习和理解人类语言，以对话的形式与人类进行交流，交互形式更为自然和精准，极大地改变了普通大众对于聊天机器人的认知，完成了从“人工智障”到“有趣”

8;ChatGPT调研报告

的印象转变。除了聊天，ChatGPT还能够根据用户提出的要求，进行机器翻译、文案撰写、代码撰写等工作。ChatGPT拉响了大模型构建的红色警报，学界和企业界纷纷迅速跟进启动研制自己的大模型。

继OpenAI推出ChatGPT后，与之合作密切的某著名企业迅速上线了基于ChatGPT类技术的NewBing，并计划将ChatGPT集成到O?ice办公套件中。谷歌也迅速行动推出了类似的Bard与之抗衡。除此之外，苹果、亚马逊、Meta（原Facebook）等企业也均表示要积极布局ChatGPT类技术。国内也有多家企业和机构明确表态正在进行类ChatGPT模型研发。百度表示正在基于文心大模型进行文心一言的开发，阿里巴巴表示其类ChatGPT产品正在研发之中，华为、腾讯表示其在大模型领域均已有相关的布局，网其已经投入到类ChatGPT技术在教育场景的落地研发，京东表示将推出产业版ChatGPT，科大讯飞表示将在数月后进行产品级发布，国内高校某著名企业则推出了类ChatGPT的MOSS模型。

除了国内外学界和企业界在迅速跟进以外，我国国家层面也对Chat-GPT有所关注。2023年2月24日，科技部部长表示：“ChatGPT在自然语言理解、自然语言处理等方面有进步的地方，同时在算法、数据、算力上进行了有效结合。”科技部高新技术司司长陈家昌在回应ChatGPT相关提问时也表示，ChatGPT最近形成了一种现象级的应用，表现出很高的人机交互水平，表现出自然语言的大模型已经具备了面向通用人工智能的一些特征，在众多行业领域有着广泛的应用潜力。1

ChatGPT是现象级应用，标志着语言大模型已经具备了一些通用人工智能特征，在众多行业领域有着广泛的应用潜力。”这标志着在未来，ChatGPT相关技术有可能会成为国家战略支持的重点。

从技术角度讲，ChatGPT是一个聚焦于对话生成的大语言模型，其能

够

是英文GenerativePretrainedTransf