ChatGPT的技术发展路径和带来的影响.docVIP

ChatGPT的技术发展路径和带来的影响 2023-03 目 录 01：人工智能和NLP发展路径 02：GPT系列模型发展路径 03：ChatGPT技术原理解析 04：ChatGPT的影响和意义 人工智能技术发展脉络 人工智能诞生最早可以追溯到1956年的感知机模型，经过近70年的发展，已经渗透到各行各业。 2011年之前 ? 模型简单 受制于当时计算机硬件的发展，模型普遍简单，能力也相对较弱 ? 场景局限 模型只能处理单一场景，通用能力非常弱，导致成本过高。 ? 人工干预 往往需要如制定规则，词表，标注样本等大量人工工作。 2012年至今 ? 大模型 得益于底层技术原理的突破和硬件算力的发展，模型越来越大， GPT3 （2020年）达到了惊人的1750亿个参数（一般人脑有神经元120到140 亿个） ? 大数据 庞大的模型需要对应于海量的数据， GPT3使用的数据量已达到 45TB， 包括了多种主流语言 ? 多模态 语音，文字，图像之间不再存在明显壁垒，模型处理复杂场景的能力明 显增加 3 人工智能的任务类型 一般来说，人工智能处理的任务可以分为两类： 1.决策式：人工智能回答“选择题”，模型主要处理诸如：判别，分类，排序等任务。 2.生成式：人工智能回答“问答题”，需要模型根据输入，自动生成一些新内容（客观世界可能从 未出现）。 4 NLP发展的技术路径 自然语言处理（NLP，Natural Language Processing）是研究人与计算机交互的语言问题的一 门学科。 提示(Prompt)学习(2020~ 至今) 传统方法(2012年以前) 神经网络(2012年~2018年) 大模型预训练(2018年~至今) 2018年，GPT和Bert的先 提示学习将下游任务的建 模方式重新定义，通过合 适的prompt来实现直接在 预训练模型上解决下游任 务，如GPT3，T5。 典 型 方 法 常用方法有SVM、TF-IDF LDA、同义词表、句法解 析，语义规则，BP神经网 络。 、 典 Word2vec的诞生标志着 NLP和神经网络的结合， 陆 续 出 现 了 FastText 、 TextCNN 、 LSTM 、 Attention等模型 典 型 方 法 典 型 方 法 后出现，标志着大模型时 代 的 到 来 ， 后 续 诞 生 的 Bart、ERNIE，T5等方法 不断探索大模型的能力边 界。 型 方 法 模型参数量、数据量均上 升了一个台阶，但是大部 分模型利用文本自身特点 生成训练样本，省去了很 多人工标注的工作。在特 定场景使用微调技术，降 低了大模型跨场景的门槛。 ? 需要人工进行干预，如 制定规则，词表，权重 等。 ? 应用场景单一，都是针 对特定场景进行开发。 ? 需要做大量特征工程。 神经网络的出现，大量减 少了人工干预的工作，同 义词可以通过向量表征自 动学会，句法分析，词性 标注等都已经嵌入进模型 结构。 ? 将所有任务，都转变为 生成式任务。 ? 模型不再需要微调，使 得零样本和少样本学习 成为可能。 特 点 特 点 特 点 特 点 5 目 录 01：人工智能和NLP发展路径 02：GPT系列模型发展路径 03：ChatGPT技术原理解析 04：ChatGPT的影响和意义 GPT系列模型发展路径 在这个大模型时代，国内外各大厂商均对大模型积极布局，呈现百家争鸣的现象。Nvidia或成最大赢家。 底层技术原理 三种技术流派 各大厂商的布局 ? 自从2017年，Transformer被提出来后， Google，Meta，OpenAI均在大模型上有所 建树，并产生了三种技术流派：1.自编码(Bert 等) 2.自回归（GPT等） 3.二者结合（T5， BART等） 7 NLP技术发展带来的影响 最近10年，是NLP技术和业务场景发展最快的黄金时期，NLP本身的技术体系被重构，所影响的业 务领域也不断扩大。 技术体系的改变 使用场景的扩大 未来的发展 ? 中间任务的消亡 ? 搜广推等内容链接领域 中间任务是指并不直接面向最终目标，而是 为了解决最终目标的一些阶段性任务。因为 神经网络的发展，诸如语法分析，词性标注， 分词等特有的中间任务已经几乎无人问津。 NLP最成功的的商业化应用场景就是搜索，推荐， 广告，技术的发展催生出一系列巨头（谷歌，百 度，字节） ? 大模型时代 ? 丰富的人机交互 ? All you need is Money 各类聊天机器人，语音助手，等人机交互场景趋 于成熟。 ChatGPT的出现，标志着大模型已经突破了 技术的天花板，让大模型这条技术发展路线 更为坚定。 现在完成一个 NLP任务，需要的不仅是技术， 而且还