合成数据驱动的大模型训练：比例、质量与多样性.pptxVIP

2026/06合成数据驱动的大模型训练：比例、质量与多样性Moeimijiang

目录合成数据崛起的产业背景占比趋势：从配角到主角主流生成范式演进质量与多样性保障模型崩溃风险与规避量化效果实证010203040506

合成数据崛起的产业背景01

数据瓶颈：训练数据的达摩克利斯之剑模型规模膨胀对数据需求有增无减，高质量自然语言数据正在被挖尽Chinchilla缩放定律最优训练策略是等比例扩大模型参数和训练数据量数据枯竭预测EpochAI预测，高质量自然语言训练数据将在2026至2028年间接近耗尽法律与伦理约束纽约时报诉OpenAI案、GettyImages诉StabilityAI案正在重塑版权边界替代路径合成数据提供绕过数据瓶颈的技术方案——通过AI模型自身生成训练样本，在不依赖外部数据采集的前提下扩展训练数据规模

占比趋势：从配角到主角02

合成数据占比的质变模型发布时间预训练占比后训练占比合成数据类型Llama32024年4月5%约15%代码、数学、指令Phi-42025年1月约40%约70%教科书级合成数据DeepSeek-V22024年12月约30%约60%数学、代码、推理链生态信号HuggingFace上synthetic-data标签数据集数量在2024至2025年间增长近四倍，涵盖通用指令、代码、数学、多语言、医疗、法律等多个垂直领域

主流生成范式演进03