VISOR：基于视觉输入的转向技术以实现 Vision-Language 模型中的输出重定向.pdfVIP

VISOR：基于视觉输入的转向技术以实现

Vision-Language模型中的输出重定向

MansiPhuteRaviBalakrishnan

GeorgiaInstituteofTechnologyHiddenLayer,Inc.

Abstract

视觉语言模型（VLMs）越来越多地被应用于广泛的领域，使其安全性和行

本为控制成为首要关注的问题。虽然现有的行为控制或输出重定向方法，如

译系统提示在VLM中的应用，很容易被检测到且通常无效，基于激活的引导

中向量需要侵入式的运行时访问模型内部——这与基于API的服务和闭源部

署不兼容。我们介绍了一种新颖的方法VISOR（基于视觉输入的输出重定

1

v向