AI训练师，喂养模型——AI训练师的年终总结.docVIP

AI训练师，喂养模型——AI训练师的年终总结

今年3月接手大语言模型垂域优化项目时，我对着37万条标注混乱的行业问答数据叹了口气——那是前一任团队留下的“半拉子工程”，很多标注员把“设备故障排查”和“配件采购咨询”两个标签混打，模型在测试集上的准确率只有62%，业务部门反馈AI客服答非所问的投诉占比超过30%。那时候我还没意识到，接下来的9个月，我和团队的日常就是和这些“吃数据的模型”较劲，像照顾挑食的孩子一样，一步步调整它的“饮食结构”和“消化能力”。

第一季度的核心工作是数据清洗和标注体系重构。我们拉着业务端的5个资深专家开了12次需求对齐会，把原本模糊的7个一级标签拆解成23个二级标签、47个三级标签，光是标注规则手册就写了18页。印象最深的是“异常场景边界”的界定：用户问“机器开机异响能不能退换”，到底属于售后咨询还是质量投诉？之前标注员一半标前者一半标后者，直接导致模型遇到这类问题时总是输出模棱两可的回答。我们最终定了5条判定规则：包含“退换”“赔偿”“投诉”关键词的归投诉类，仅描述故障现象的归咨询类，同时给所有歧义样本加了“高优先级人工复核”标记。那段时间我每天要抽审200条标注数据，下班时眼睛里全是Excel表格的格子，3个月里我们累计清洗了42万条历史数据，新标注了19万条优质对话，标注准确率从最初的78%提升到96%，模型第一次测试准确率就冲到了81%。

第二季度