发票OCR对抗样本检测报告.docVIP

发票OCR对抗样本检测报告

一、发票OCR对抗样本的生成机制与表现形式

（一）像素级扰动对抗样本

像素级扰动是最基础的对抗样本生成方式，通过在发票图像的像素值上添加微小的、人类视觉难以察觉的噪声，使OCR模型的识别结果出现错误。这种扰动通常是基于梯度下降算法计算得出，目标是最大化OCR模型的识别损失。例如，在发票的金额栏、发票号码栏等关键区域，添加经过精心计算的像素噪声，可能会让OCR模型将“123456”识别为“123458”，或者将“￥1000.00”识别为“￥100.00”。

这类对抗样本的特点是隐蔽性极强，人类肉眼几乎无法分辨其与正常发票的区别，但却能有效干扰OCR模型的特征提取过程。由于OCR模型在训练过程中主要学习的是正常发票的特征分布，对于这种微小的像素扰动缺乏足够的鲁棒性，因此很容易被误导。

（二）物理世界对抗样本

物理世界对抗样本则是在真实的发票实体上进行修改，通过打印、涂改、粘贴等物理手段，使OCR模型在实际应用场景中出现识别错误。例如，在发票的关键信息上粘贴一层透明的、带有特定图案的薄膜，或者使用特殊的墨水进行轻微涂改，这些修改在人类看来可能并不明显，但却能对OCR模型的识别结果产生重大影响。

物理世界对抗样本的生成需要考虑更多的实际因素，如光照条件、拍摄角度、打印精度等。不同的物理修改方式对OCR模型的干扰效果也有所不同，例如，在发票上添加特定的纹理图案，可