GPT会是AI算法模型的终极答案吗.docxVIP

▍ 报告缘起 ChatGPT 在全球市场的成功，以及由此引致的全球主要科技企业在 AI 领域的军备竞赛，正在加速全球 AI 产业的发展速度。AI 算法模型作为产业的核心环节，其本身的技术路线，将直接决定 AI 产业链具体形态，以及各产业环节的分工协作方式和价值分配结构，因此对 AI 算法模型技术路线进行系统的分析、前瞻性的判断，就成为了一个难以回避的问题。在本篇报告中，我们将着重对如下问题进行展开分析，并在此基础上，就中期 AI 算法模型技术路线、产业核心竞争要素等进行分析推演： 可预见时间范围内，AI 算法模型技术路线会朝什么方向发展，是继续走向分叉还是快速收敛，GPT 为代表的大语言模型在其中会扮演什么样的角色？ AI 算法模型的核心竞争壁垒将来自哪些领域，数据、算力设施、人才、工程实践？ 算力成本是否会成为当下 AI 产业向前发展的核心瓶颈，单位算力成本下降曲线？ 面对当前 GPT 等大语言模型的各类突出缺陷，有何有效的解决方式，ChatGPT+插件会成为一种主流的方式吗？ ▍ 技术路线：大语言模型（LLM）有望实现主导，并不断向 GPT 方案靠拢 AI 模型发展回顾：过去 10 年里，AI 模型经历了从小模型到以 Transformer 为代表的大模型的转变。从人工智能这个概念在 1950 年被提出开始，已经经历了从规则学习到 机器学习再到神经网络的关键转变，本轮我们看到的人工智能技术突破都是基于在神经网络技术上的不断进步。而细分近十年来模型发展的进步，我们又观察到从以 CNN、DNN为代表的传统神经网络小模型到以 Transformer 为代表的神经网络大模型转变的趋势。 图 1：人工智能模型发展的关键阶段 OpenAI， 绘制 我们根据全球 AI 行业近 10 年的发展历史，并将其总结为以下四个阶段： 1）2017 年前：以深度学习为核心的小模型占据主流：这类模型以 LSTM 及 CNN 模 型作为典型的特征抽取器，根据特定领域标注数据训练，在一些任务上可以达到接近人类的水准。但是硬件算力不够导致针对其他领域重新训练成本过高，让其通用型任务的完成情况较差。 图 2：在这一阶段模型精度较难以超越人类水平 OpenAI 2）2017 年到 2020 年：以谷歌 Bert 为代表的双向预训练+Fine Tuning（微调）的 Transformer 模型横空出世成为了人工智能的主流方向。谷歌研究团队发表的《Attention is all you need》论文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar 等）开创了 Transformer 模型，重新统一了自然语言模型(NLP)的研究范式。这类模型以预训练的方式学习语言学特征，大幅简化了过去 NLP 繁琐的研究种类。Transformer 作为特征提取器效果好于 CNN、LSTM 模型等，在信息容纳能力、并行计算等方面明显占优，让 AI 首次能在语言任务的部分场景中追平人类。 图 3：Transformer 模型的提取能力实现了质的飞跃 OpenAI 图 4：在语言任务上 Bert 模型第一次在部分场景追平人类 《Attention is All you need》Ashish Vaswani，Noam Shazeer，Niki Parmar 等 3）2020 年到 2022 年：产业界与学术界继续沿着 Transformer 的道路前景，但开始 尝试不同于 Bert 的其他 Transformer 架构，通过预训练无监督学习的方法不断增加模型体积成为了这一时段的主流。以 1750 亿参数的 GPT-3 为代表，各大互联网巨头不断尝试增加模型体积以获得更好的效果。 图 5：从 2018 年到 2022 年，模型参数量增加了 5000 倍 FAIR， GPT-3 为代表的自回归+Prompting 的方法开始展现产品化能力的优越性， 与 Fine-tuning 方法的 Bert 模型成为两条道路。相比于 Bert，GPT-3 的自回归+Prompting 在产品化能力展现出了两个优点：1）Fine-tuning 对于小公司更难部署，从产品化的角度上更加困难；2）Prompting 的方法更符合我们对以人类的方式使用 AI 的愿望，并实现了人、模型之间的自然交互。谷歌等巨头在这一阶段也意识到了 Prompting 方法的重要性，逐渐开始转向。国内 AI 研究在这一段时间内出现了明显落后，仍然沿着 Bert 模型的方向继续前进，对 GPT-3 的研究很少；同时受制于中文优质语料的缺乏，模型大小也较难提升。 图 6：Prompt 简化了使用端接口，是更好的产品思维 Google 官网， 4）2022 年至今：Cha