人工智能安全行业人工智能投毒攻击检测技术调研报告.docVIP

人工智能安全行业人工智能投毒攻击检测技术调研报告

一、投毒攻击的技术原理与典型场景

（一）投毒攻击的核心逻辑

投毒攻击是指攻击者通过在训练数据中注入恶意样本，破坏机器学习模型的完整性和可用性，使其在推理阶段产生错误输出。其核心逻辑在于利用机器学习模型对训练数据的依赖性，通过污染数据分布，误导模型学习到错误的模式。例如，在图像分类任务中，攻击者可以在训练集中加入带有微小扰动的猫图片，并将其标注为狗，模型在学习过程中会将这种错误关联纳入决策边界，最终导致在推理时将正常猫图片误判为狗。

从数据污染的方式来看，投毒攻击可分为针对性投毒和无差别投毒。针对性投毒旨在让模型对特定目标样本产生错误预测，如在人脸识别系统中，攻击者通过注入带有特定标记的人脸图片，使模型无法识别特定人员；无差别投毒则是通过大规模污染训练数据，降低模型整体性能，例如在垃圾邮件过滤模型中注入大量正常邮件并标注为垃圾邮件，导致模型将大部分正常邮件误判。

（二）典型应用场景中的投毒攻击

金融风控领域：在信贷风险评估模型中，攻击者可以通过伪造大量虚假的低风险用户数据并注入训练集，使模型高估用户信用等级，从而导致金融机构发放大量高风险贷款。2023年某银行的风控模型就曾遭遇此类攻击，造成了数百万的直接经济损失。

自动驾驶系统：攻击者可在自动驾驶车辆的训练数据中加入被篡改的交通标志样本，如将“停止”标志修改为“限速60”标志并标注正