合成数据驱动的大模型训练：比例、质量与多样性.docxVIP

合成数据驱动的大模型训练：比例、质量与多样性

摘要

训练数据的枯竭曾被视为大模型发展的“达摩克利斯之剑”——人类公开可用的高质量文本毕竟有限，而模型规模的膨胀对数据的需求却有增无减。合成数据的崛起正在改变这一困局。2025至2026年，合成数据已从训练流程的“辅助补充”升级为“核心支柱”：部分前沿模型的训练数据中合成数据占比已超过60%。本文系统考察合成数据在预训练和后训练中的占比趋势、主流生成范式、质量与多样性保障策略、“模型崩溃”风险及其规避方法，并以数学与代码领域为例量化其对模型推理能力的实际提升效果。

一、数据瓶颈：合成数据崛起的产业背景

大模型训练的底层逻辑是“数据驱动”——模型性能与训练数据的规模和质量强相关。DeepMind在2022年发表的Chinchilla缩放定律指出，给定一定算力预算，最优训练策略是等比例扩大模型参数和训练数据量。然而现实是，互联网上高质量、长文本、经过事实校验的自然语言数据正在被“挖尽”。研究机构EpochAI在2025年初更新的预测显示，如维持当前数据消耗增速，可用的高质量自然语言训练数据将在2026至2028年间接近耗尽。

数据获取还面临日益复杂的法律与伦理约束。纽约时报诉OpenAI案、GettyImages诉StabilityAI案等标志性诉讼，正在重塑训练数据使用的版权边界。越来越多的网站和内容平台开始通过技术手段限制爬虫访问