让国产大模型产业更好赋能经济社会发展.pdfVIP

人民论坛2025年第2期27

让国产大模型产业更好赋能经济社会发展

邓志东

成式人工智能的大型语言模型通常分为基础（基座或底座）

近年来，大模型产业逐步从互联网空间

【摘要】生大模型、下游任务微调优化大模型等，目的是通过自监督学

走向真实的物理世界，与实体经济深度融合，

在深度和广度上更好地赋能智能经济与智能社习方法，实现对文本、图像、视频、语音等多模态序列训练数据的

会的发展。应充分发挥我国生成式人工智能产语言建模、理解与生成。具有下一个语义符（token）预测能力的

业的规模优势，聚焦多样化应用场景的快速落大模型通过模仿人类的语言智能，不但对各种模态具有统一的语

地、商业模式创新与价值实现。从数据、算力、义对齐表达、学习与记忆，同时嵌入了数据驱动的人类一般性世

模型与应用场景等多维度，直面大模型应用落界知识模型，因此能够以数据智能新物种的形态完成过去仅有人类

地中的各种挑战，通过政策引领、体制机制创新、才能完成的、从简单到复杂的多样化任务。自2022年11月30日

更高质量数据集的构建与开放使用、全国一体ChatGPT问世以来，生成式人工智能在全球范围进入到爆发式发

化AI算力基础设施建设以及场景创新等的合力展阶段，已初具产业落地的应用条件与生态。目前，基础大模型需

支撑，重塑我国生成式人工智能产业发展的全要进一步提升其完成复杂任务的能力，同时提高准确率，增强其安

球竞争新优势，让中国的人工智能发展为增进全与价值对齐，尤其是聚焦于如何大幅提高大模型的复杂逻辑推理

人类福祉作出更大的贡献。能力。

大模型产业生成式人工智能

【关键词】

近年来，国内大模型发展如火如荼。据统计，截至2024年4月底，

通用智能体

国内总共推出305个大模型，其中参数规模超过10亿的国产大模

TP18A

【中图分类号】【文献标识码】

型达到了100多个，并且相当一部分来自于国内外的开源代码，如

美国Meta公司的Llama系列开源大模型等。从原理上来讲，目前

生成式预训练模型面向自回归或受损文本重建语言建模主任务，大

多采用Transformer注意力神经网络架构，同时使用基于随机梯度

下降的自监督学习方法。从使用的网络架构与预训练方法来说，各

种大模型都相差不大，存在的不同之处主要涉及网络结构参数与超

参数，各种（层）归一化或尺度变换的策略有所不同，预训练的策

略也可能存在差异，但这些本质上属于工程实现问题。显然，基于

Transformer架构的基础大语言模型及从头开始的预训练算法的研

究，实际上并没有多少创新之处，相应的开源代码也难以较大程度

地进行调整和修改。此外，预训练所采用的大规模文本语料库，如

Pile等都属于公开数据集，对应的预训练算