2025年高质量数据集建设指引.docxVIP

目录

一、高质量数据集建设背景 1

（一）高质量数据集的发展背景 1

（二）高质量数据集的概念内涵 3

（三）高质量数据集的分类 5

二、高质量数据集应用需求 8

（一）基础认知层数据集需求——建立世界的基本认知 8

（二）场景理解层数据集需求——解析复杂场景关系 10

（三）行动规划层数据集需求——规划执行具体行动 13

三、高质量数据集建设现状 17

（一）全球高质量数据集建设现状 17

（二）我国高质量数据集建设现状 19

（三）高质量数据集建设困难与挑战 21

四、高质量数据集建设方法与实践 24

（一）典型建设模式 24

（二）建设核心环节 26

（三）建设核心技术 28

（四）数据集质量评价 33

五、高质量数据集建设运营体系 40

（一）高质量数据集体系规划 40

（二）高质量数据集工程建设 41

（三）高质量数据集运营管理 42

六、高质量数据集建设推进思路 45

（一）体系化布局高质量数据集建设 45

（二）设施化推进高质量数据集应用 47

（三）生态化赋能高质量数据集发展 48

1

一、高质量数据集建设背景

（一）高质量数据集的发展背景

在以人工智能为代表的新一轮科技革命和产业变革深入推进的大背景下，数据正日益成为国家基础性战略资源和关键性生产要素。高质量数据集作为人工智能发展的基础支撑，其重要地位不断上升，成为驱动技术创新、赋能产业升级和提升治理能力的重要抓手。当前，高质量数据集的建设正处于政策驱动与场景牵引同步发力、协同推进的关键阶段。

1．高质量数据集成为人工智能发展核心支撑

人工智能技术迈入大模型时代后，研发重点从“重点优化模型架构”转向“模型与数据协同优化”，其中高质量数据的作用日益凸显。主要表现在：一是将数据视为活的资产，不再是一次性收集、处理后就束之高阁的静态文件，而是一个需要持续投资、管理、监控和优化的动态、演进的战略资产。二是用自动化的、可编程的、可扩展的数据处理流程，取代手动的、一次性的数据处理工作，系统性处理海量数据，并能提升数据质量。三是整合领域专家，将拥有深厚行业知识的主题专家直接整合到数据处理的流水线中。专家知识被用来定义数据标准、标注复杂案例、识别数据中的细微偏差，从而将领域智慧注入数据。四是建立模型反馈闭环，将模型在实际应用中的错误作为诊断信号，用来发现数据中的问题（如标签错误、数据分布不均、边界案例缺失等），然后有针对性地改进数据集。由此就形成了一个“数据飞轮”效应，更好的数据训练出更好的模

2

型，更好的模型反过来帮助获得更好的数据。

大模型参数规模指数级增长与多模态能力的拓展，数据需求从“量级积累”转向“量质并重”。例如，以OpenAI为代表的国际领先科技企业正通过强化微调等技术手段，依托小规模但高度精准、精细化、结构化的高质量数据集，实现大模型在垂直领域的专业化和实用化演进。这种“以质取胜”的数据策略显著提升了模型性能与落地能力。而DeepSeek模型在复杂逻辑推理任务中取得突破性进展，源于其R1模型采用的数学推理数据集，不仅要求答案正确性，更对解题步骤的规范性、逻辑链的完整性提出严格标准，这种精细化的数据设计使得模型在抽象思维能力上实现质的提升。

人工智能走进千行百业的具体场景，行业模型的性能跃升越来越依赖数据与场景的深度耦合，从“数据规模竞赛”转向“数据质量深耕”。越来越多的企业开始采用自动化的数据筛选、数据标注与数据增强等技术工具，以提升数据集的专业性和适用性。在这种趋势下，模型训练不再依赖于盲目扩充数据规模，而是更注重数据的代表性、多样性和场景适配性，为人工智能的可持续发展奠定坚实基础。例如，医疗领域中某肺结节检测模型训练数据集仅利用1万多例数据和亚毫米级病灶边界勾画的标注信息，使得早期肺癌筛查中的假阳性率大幅下降；工业质检场景中某企业通过合成数据等技术生成了10万种“极端缺陷样本”，弥补了真实生产中罕见缺陷数据不足的问题，使模型缺陷识别覆盖率大幅提升。

3

2．国家高度重视高质量数据集建设

党中央、国务院高度重视数据资源的开发利用与高质量发展，围绕构建数据基础制度、完善数据要素市场、推动公共数据开放、夯实智能技术底座等方面，陆续出台多项纲领性政策文件，为高质量数据资源体系建设提供了顶层设计和制度保障。

2022年12月，中共中央、国务院印发《关于构建数据基础制度更