AI行业大模型培育新质生产力.pdfVIP

调研·分析INVESTIGATIONANALYSIS

将大模型作为研发或孵化项目，不强求短期财务指标的绝对达成，

而是关注业务、技术等指标的相对提升。

AI行业大模型培育新质生产力

文|腾讯研究院大模型研究课题组

关键词大语言模型；LLM；AGI；人工智能；行业大模型；新质生产力

通用大模型技术快速发展，但大模型时代的序幕，也预示着AI迈数据集大小和训练用的计算量之间

很多传统行业推进得并不快。对企向通用人工智能（AGI,Artificial存在幂律关系，性能随三个因素的

业而言，大模型应用需要综合考虑GeneralIntelligence）的新阶段。目指数增加而提高，通俗而言就是大

专业性、数据安全、持续迭代和综前业界对大模型没有形成明确统一力出奇迹。不过“大”并没有绝对

合成本等多种因素。针对这些现实的定义，狭义上可指大语言模型，标准。传统模型参数量通常在数万

情况，腾讯集团提出重点发展行业基于Transformer技术框架；广义至数亿之间，大模型的参数量则至

大模型的理念。本文基于一线大量上包含了语言、声音、图像、视频少在亿级，并已发展到过万亿级。

实践反馈，做出系统归纳总结，呈等多模态大模型，技术框架也涵盖第二，泛化能力强。大模型能够有

现行业大模型发展真实情况，厘清稳定扩散模型（StableDiffusion）等。效处理多种未见过的数据或新任务。

关键争议和困惑问题。真正解决用在大模型出现之前，人工智能基于注意力机制，通过在大规模、

户需求、距离场景和数据更近的企通常需要针对特定任务和场景设计多样化的无标注数据集上进行预训

业，将拥有大模型的未来。专门的算法模型，执行的也是训练练，大模型能够学习掌握丰富的通

数据范围内的单一任务。大模型的用知识和方法，从而在广泛的场景

行业大模型弥合技术与需求差距突破，关键在于展现出了类人的通和任务中使用。大模型不需要或者

1.大模型引发智能革命用智能“涌现”能力，能够学习多仅需少量特定任务的数据样本，即

2022年11月30日，OpenAI个领域知识、处理多种任务，因此可显著提高在新任务上的表现能力。

发布大语言模型（LLM，Large也被称为通用大模型。大模型具备第三，支持多模态。大模型可以实

LanguageModel）ChatGPT，其用诸多特点。第一，参数规模大。大现多种模态数据的高效处理。传统

户数迅速增长，成为史上发展最快模型参数规模远大于传统深度学深度学习模型大多只能处理单一数

的应用。ChatGPT的爆火揭开了人习模型，呈现规模定律（Scaling据类型（文本、语音或图像），大模

工智能（AI，ArtificialIntelligence）Law）特征，即模型性能与模型规模、型则可以通过扩展编/解码器、交

562024.7

INVESTIGATIONANALYSIS调研·分析

叉注意力、迁移学习等方式，实现成本的增加、经济性降低，同时可求。大模型不仅涉及机构私有数据

跨模态数据的关联理解、检索和生能降低模型对特定问题处理的专业的调用，还会与机构业务、流程结合，

成。多模态大模型（LMMs，Large能力。第三，经济性指大模型训练这使得大模