ASF-模糊测试技术在AI Safety的应用探索.pdfVIP

专题 第 17 卷  第4期  2021 年 4 月　 ASF：模糊测试技术在 AI Safety 的应用探索 胡智圣 郭生健 仲震宇 李 康 关键词：AI 系统安全 模糊测试 百度公司 AI Safety AI Safety 风险 AI 系统通常采用深度神经网络进行决策和判 当实际应用中的AI 系统存在上述认知盲区时， 断。百度安全研究团队发现，在没有攻击者的情况下， 它的决策就会出现偏差。即使在没有攻击者的情况下， 如果正常输入在非预期或特殊环境下发生变化，深 AI 系统，特别是安全攸关的自动驾驶系统对特殊情 [1] 况下的正常输入也可能产生错误决策，甚至导致生命 度神经网络就会出现预测错误 。图1 展示的是业 界最先进的目标识别系统之一YOLOv3 对画面中车 财产损失。同时，AI 系统在安全（Safety）方面的弱 辆的识别