高质量数据集工程链路.pptxVIP

数据集不是攒出来的是造出来的一条从采集到质检的工程链路采集加工标注质检2026年11月

目录CONTENTS01先定任务，再定数据源COLLECT/采集02把原料做干净CLEAN/加工03让人标得一致LABEL/标注04把住出厂那一关AUDIT/质检

CASE/一个几乎人人都遇到过的故事一次典型的「越做越差」11%训练集与验证集撞了重复样本评测分数看着漂亮，一上真实流量就塌方。爬两周语料清洗掉一半标了三万条微调后更差真实流量问题不在数据量，在评测已经被污染先查泄漏，再谈调参

00/THEWHOLELINE四道工序，四把尺子01采集验收尺：任务定义与评测方式是否对齐02加工验收尺：去重、泄漏检查与schema一致03标注验收尺：一致性指标与边界case规则04质检验收尺：抽检问题率与四项验收指标少一环，误差就顺着产线一路流到模型里一环一验收

01/COLLECT顺序错了，后面全是返工常见开局先爬数据，再想用途01先把语料爬回来02再想它能用来做什么03发现不对，回头重来正确开局先把靶子立起来，再倒推取什么数据01任务定义：类别、边界、长尾02评测方式：独立干净测试集03倒推数据：规格、数量、形态靶子先立住，后面每一环才有验收依据箭头向外：从任务一路推到数据源客服意图分类的例子：靶子定下来，采集才不会白跑两周任务→评测→数据

01