PAGE1
AI治理人工复核岗作业指导书
摘要
本文对AI治理人工复核岗作业指导书涉及的离线验证口径管理目的、类别不均衡治理术语界定、标注培训与抽检操作流程、离线验证口径风险提示、类别不均衡治理衔接条款等事项作出规定,明确了相应的适用范围、职责分工、处理要求与记录口径。
目次
一、目的
二、适用范围
三、术语定义
四、职责分工
五、流程步骤
六、管理要求
七、风险提示
八、检查与考核
九、附则
一、目的
(一)离线验证口径管理目的
一、离线验证是模型放行前最后一道量化关口,本条统一指标算法与数据切分方法,避免各团队用不同口径各报各数。
二、指标可比的前提是验证集同源,本条把验证集冻结与指标定义捆绑管理,二者缺一即视为口径不成立。
三、对外引用离线结果必须附口径说明,防止同一模型出现两个互相矛盾的数字。
四、口径一旦写入报告首页即锁定,中途想换算法的须重跑全部结果并升版本号,旧口径结果保留在案供对照,不得删除。
(二)标注规则仲裁管理目的
一、标注规则在灰区难以避免会产生两种都说得通的读法,仲裁机制的目的就是把个案分歧转化为统一口径,而不是让各组长私下拍板。
二、仲裁意见回灌为示例之后即成为后续培训与考核的基准,本条同时保障这条回灌通道畅通。
三、仲裁只针对规则本身,不针对具体人员的产量,避免裁断被排产压力裹挟。
四、仲裁结果的可信度依赖程序稳定:同案同裁、意见公开、边界写明,三
原创力文档

文档评论(0)