人机协同的半自动标注框架 - 华为应江勇.pdf

人机协同的半自动标注框架 华为2012实验室 应江勇 数据标注为何重要 机器学习典型流程及耗时结构 问题抽象  训练数据的重要性 训练数据准备 5%  训练数据决定模型性能上限 70% 1  训练数据准备耗时占比达到70% 模型发布 2 5% 5  数据标注的必要性 训练调优 4  从业界看，算力和算法快速发展，但算例却 10% 基本停止不前 3  数据获取成本高，如何拉低数据标注成本是 算法设计 当前研究热点和难点 10% 2 数据标注当前面临的主要问题 主流 1 2 人工标注少部分 3 模型预标注全量 标注方式 人工标注 +模型迭代标注大部分 +难例人工标注 纯人工标注 半自动标注  众包 多次训练 错检 主要不足 全量 依赖人工标注结 果， 置信度低不一定 是难例 3 半自动标注框架有效解决数据标注业界难题 业界代表性半自动标注流程 华为半自动标注流程 训练+推理 1 待标 人工 主动 标注 注 标注 学习 数据 推理 数据 2 计算 难例 1 正例 3 3 （大 人工 （大量） 待标 模型 量） 人工 标注 复检