安全语义，不安全解释：解决大型视觉-语言模型中的隐式推理安全性问题.pdfVIP

安全语义，不安全解释：解决大型视觉-语言

模型中的隐式推理安全性问题

∗∗†

WeiCaiJianZhaoYuchuJiang

PekingUniversityInstituteofArtificialSoutheastUniversity

InstituteofArtificialIntelligence(TeleAI),ChinaInstituteofArtificial

Intelligence(TeleAI),ChinaTelecomIntelligence(TeleAI),China

TelecomNorthwesternPolytechnicalTelecom

P.R.ChinaUniversityP.R.China

本caiwei@P.R.Chinakamichanw@

译zhaoj90@

中††

1TianleZhangXuelongLi

vInstituteofArtificialInstituteofArtificial

6

2Intelligence(TeleAI),ChinaIntelligence(TeleAI),China

9

8TelecomTelecom

0

8.P.R.ChinaP.R.China

0zhangtianle95@xuelong_li@

5

2

:摘要（SSUI），这是首个针对这一关键问题的数据集。我们

v

i的演示表明，即使是简单的上下文学习结合SSUI也

x大型视觉语言模型面临多模态输入带来的日益增长的

r能显著缓解这些隐式的多模态威胁，突显出改进跨模

a安全挑战。本文介绍了隐式推理安全的概念，这是LVLMs

式隐式推理的紧迫性。补充材料可在https://github.

中的一个漏洞。良性组合输入由于存在缺陷或隐藏的

com/cwtpu/SSUI获取。

推理而触发不安全的LVLM输出。为了展示这一点，

我们开发了SafeSemantics,UnsafeInterpretations

∗Bothauthorscontributedequallytothisresearch.

†Correspondingauthors.