AI模型开发流程V1.5.docx

AI模型开发流程

摘要

本文对AI模型开发流程涉及的对抗与越狱测试管理目的、日志与追溯职责分工、可解释性说明检查考核、标注培训与抽检操作流程、模型下线替代衔接条款等事项作出规定，明确了相应的适用范围、职责分工、处理要求与记录口径。

目次

一、目的

二、职责分工

三、流程步骤

四、检查与考核

五、记录与表单

六、附则

一、目的

（一）对抗与越狱测试管理目的

一、本条意在上线前主动探明模型被诱导读出不受控内容的通道，把加固做在外部发现之前。

二、攻击题集按业务场景持续更新，出题、维护与使用的责任在下列条款中划清。

三、测试暴露的问题按后果分档处置，避免不分轻重一律全量整改拖垮排期，也避免高档问题被低档化处理。

四、被打通路径的修复情况作为放行材料之一：修复说明与复测记录齐备，才可申请上线；只有结论没有记录的不予受理。

（二）日志与追溯适用范围

一、适用于模型接收请求、形成中间结果、给出对外结论的全链路日志，以及人工介入动作的操作记录。

二、第三方接口回传内容纳入采集范围；接口缺段时由接入方书面说明原因并备案。

三、开发调试日志与线上日志分开存储，调试记录不得充当追溯证据。

四、日志采集范围变化属结构变更，按算法变更评估流程办理；临时停采须双人批准，并在登记簿记明起止时段。

（三）人工复核岗适用范围

一、适用于高影响自动化决策与模型置信度不足的输出。

二、低风险纯提示类场景允许抽样复核，