ChatGPT带动下的AI产业链发展趋势.docxVIP

ChatGPT带动下的AI产业链发展趋势 从2022年下半年开始，随着深度学习的发展，以Diffusion、ChatGPT为代表的颠覆性AI应用破圈，标志着人工智能领域的重大突破，引发全球共振。不少人将ChatGPT的问世比喻为“蒸汽机”，人工智能就此走向“工业时代”。 上海人工智能产业投资基金作为上海市级产业投资基金，根据建设人工智能“上海高地”的战略部署，始终密切跟踪技术带来的AI产业链技术及商业模式变迁。下面是近期我们对AI技术及产业发展趋势的思考： 核心观点： 1、ChatGPT展现了极强的语义理解、多轮沟通对话、推理演绎能力，代表了人工智能研究范式的改变。以Transformer为基础的软硬件标准化趋势的确立让我们有理由相信且为之振奋：我们正站在AI工业化革命爆发的拐点——与其说 ChatGPT证明了某一条AI研究路线的成功，倒不如说它更大的意义是证明了AI这些年不断收敛但依然存在多种选择的各类路线里，最终真的是会走出一条路：AI工业技术革命终将到来。 2、大语言模型使用自然语言交互，颠覆了原有的人机交互方式。从键盘鼠标、触摸屏、语音，人机交互方式的改变重塑了信息产业的形态。人工智能驱动的自然语言交换不仅加速虚拟世界的建立，带来了生产力的革命，也会重塑生产关系， 现实世界的下游应用都有望被重构。 3、伴随参数规模增速的不断提升，算力和训练成本仍存在瓶颈，大模型的性能天花板远未到来，甚至算法需要根据硬件优化，包括芯片级优化、数据中心架构优化、机器学习分布式框架在内的软硬件联合调优等算力创新将成为破局关键，转动起AI算力-AI应用的产业飞轮。 4、大模型参数是社会底层知识、学习资料的承载，具有极高的社会、经济和文化价值。考虑到全球政策环境、企业私有化部署的需求、数据跨境的合规风险等因素，中国独立自主大模型构建的迫切性呼之欲出。道阻且长，行之将至。如何利用好 AI工程化这一构建大模型的核心能力，以及利用中国的规模效应使大模型迅速普及并改进闭环，是破局的机会。 一、拐点将至：大模型研发范式的改变标志着AI真正走向了工业化生产道路 ChatGPT如何能力出众？ 相比于之前的Chatbot，我们可以看到一个惊人的ChatGPT：极好的理解和把握用户意图，具有出良好的多轮沟通对话、记忆、归纳和演绎能力，会甄别高水准答案，知道如何一步一步解决用户问题，有逻辑和条理的输出回答结果。 ChatGPT背后的技术突围和能力养成？ 任何AI技术都不是空中楼阁。在惊叹以ChatGPT、Diffusion为代表的AIGC所展现的惊人能力的同时， 我们看到的是一次深度学习算法、算力提升、数据积累三浪叠加后的“大力出奇迹”，以及背后长达几十年的酝酿。 大语言模型 (LLM) 标志着AI研究范式的改变：拉长NLP技术发展时间周期，早期阶段? (2013 年左右)? 的 NLP 任务采用传统的“特征提取+机器学习”进行研究，第二阶段转变为“预训练模型+fine tune”范式，均致力于“大练模型”，即根据下游任务调整预训练模型，帮助机器理解人的意图。而在以ChatGPT为代表的GPT3.0“预训练模型+Prompt”范式中，通过“练大模型”大幅减小预训练的任务和下游任务之间的统计分布差距，让计算机适配人的习惯命令表达方式，提高整体任务的通用性和用户体验，从而使通用底座模型成为可能。 模型规模激发能力突变：研究表明，大模型许多能力上的惊人突破，并非一个线性的过程，而是在模型尺寸达到一个量级时发生突然的“进化”(Scaling Law即规模定律)。当 LLM 的参数量达到一定量时(比如100亿)，模型的能力将发生突变。GPT3.0模型 下1750亿参数量“涌现”出的强大智能表现，验证 ScalingLaw 生效，由此获得了存 在于大模型而非小模型的涌现能力。更深度的人类活动信息变成可用数据， 进一步激发模型-数据的飞轮效应。从神经网络角度看，人脑有约100万亿神经元。GPT-3有1750亿参数，预计OpenAI的GPT-4模型参数量将变得更大，但距离人脑的100万亿神经元尚远。随着算力的进步，参数规模提升能否带来新的特性值得期待，我们相信大语言模型的新能力会随着参数和模型规模的激增而进一步解锁。 标准化趋势正在加速：在算法层面，大模型的核心Transformer有统一算法的趋势，图像、自然语言理解、多模态的主要技术路线基本都基于Transformer实现。算法的收敛某种程度上使得硬件收敛成为可能，而Transformer加速引擎成为算力必选项。虽然目前算法、软件、硬件尚未实现完全标准化，但我们可以清楚的看到LLM标准化进程正在加速，逐渐显现出?“通用目的技术”的三个特性即普遍适用性、动态演进性和创新互补性，有望成为驱动工业革命的增长的引擎。 二、革故立新，