透视AI大模型 国家队必须勇担重任.pdfVIP

聚焦 Focus | 人工智能 透视 AI 大模型 国家队必须勇担重任 ■ 潘彤 孙宁 许恒昌 ︱ 文 2022年年底以来，ChatGPT热潮席卷全球，许多人认为“AI的iPhone”时刻已经到来， 初创公司竞相打造颠覆性AI产品，大型科技公司也在不断寻求AI战略突破。马斯克甚至 认为“我们已经离危险的强人工智能不远了”。回顾过去，ChatGPT的成功根植于AI大 模型近十年的快速发展。面向未来，AI大模型逐渐进入数字基础设施范畴，政府需要着手 研究AI大模型的全流程治理监管。在这个过程中，“产学研用”各方应该发挥“国家队” 作用，加强协同、发挥合力，承担起AI大模型带来的数字基础设施建设与治理监管体系构 建的时代重任。 AI 大模型的浪潮与魔力 2022 年底 OpenAI 发布 ChatGPT。如 果将高级语言能力作为人类文明独特标志之 一，那么 ChatGPT 对人类语言理解程度之高， 使人着迷又困惑。而 ChatGPT 的背后正是 AI 大模型。 研究人员发现，当 AI 模型层数越多、模 型越深、参数数量越多时，AI 模型的实际表 现越好，于是大公司纷纷开始了 AI 大模型的 竞赛。20 世纪 90 年代，AI 模型 LeNet 能自 动识别支票上的手写数字，拥有 6 万个参数。 2012 年，AlexNet 模型赢得全球图片分类竞 赛，拥有 6238 万个参数。2018 年、2019 年、 2020 年发布的 GPT、GPT-2、GPT-3 模型各 有 1.17 亿、15 亿、1750 亿 个 参 数， 到 2022 年 PaLM 模型已有 5400 亿个参数。总体来看， 过去五年AI大模型规模以指数形式持续增长。 本质上，训练一个 AI 大模型是在拟合一个“复 杂函数”，当 AI 模型越深、参数规模越大时， 其拟合复杂函数的能力越强，这就是近年来 AI 大模型被持续追捧的根本原因。 18 中国电信业 CHINA TELECOMMUNICATIONS TRADE April 04 2023 268 人工智能 AI 大模型应纳入国家数字基础设施建设 数字基础设施与 AI 大模型 数字基础设施建设是我国未来重要的发 力方向。2018 年中央经济工作会议首次提出 “加强人工智能、工业互联网、物联网等新 型基础设施建设”。2023 年 2 月中共中央、 国务院印发《数字中国建设整体布局规划》， 明确提出到 2025 年实现数字基础设施高效 联通等发展目标。值得注意的是，5G 网络、 千兆光网、移动物联网、IPv6规模部署与应用、 北斗规模应用、算力基础设施、传统基础设 施数字化智能化改造等领域已被明确纳入数 字基础设施建设范畴。 AI 大模型也应被纳入国家数字基础设施 中小公司“玩得起”的游戏，甚至我国大型 建设范畴。AI 大模型也可称为“基础模型” 科技公司在训练大模型时都会遇到重重困难。 （Foundation Model），这两个名称分别体 AI 大模型的训练需要大量算力资源提供 现其两方面的特点，“大”指模型参数规模 支撑。举例来看，OpenAI 在完成 GPT-3 模 大，需要大量计算资源和内存空间做训练支 型训练后，立刻发现了其训练数据集中存在 撑；“基础”阐述了模型的训练范式为“预训 一个问题，但是他们并没有选择重新训练模 练”，即模型并不针对特定任务进行训练，而 型，而是直接表示“出于成本考虑，在新的 是在广泛数据上进行大规模预训练，实现下游 数据集上重新训练模型是不可行的”。谷歌 任务的广泛适用，再根据特定任务要求进行 在训练 Megatron-Turing NLG 大模型时， “微调”（Fine-tuning）。GPT 模型的“P” 使用了 2240