基于图像对比增强的大型视觉语言模型物体幻觉缓解.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

2025,34(5):107−115

[doi:

10.15888/ki.csa.009881]

[CSTR:

32024.14.csa.009881]

©中国科学院软件研究所版权所有.Tel:

+86-10

基于图像对比增强的大型视觉语言模型物体

幻觉缓解①

1,21,21,21,21,21,21,2

卜立平,

常贵勇,

于碧辉,

刘大伟,

魏靖烜,

孙林壮,

刘龙翼

1(中国科学院

沈阳计算技术研究所,

沈阳

110168)

2(中国科学院大学,

北京

100049)

通信作者:

常贵勇,

E-mail:

changguiyong22@

摘要:

大型视觉语言模型(LVLM)在理解视觉信息和运用语言表达方面展现出了非凡的能力.

然而,

在LVLM进

行问答的过程中,

它通常受到物体幻觉问题的困扰,

具体表现为生成的文本内容看似合理,

但实际上却与图片中的

信息不相符,

造成了文本与图片之间的不匹配现象.

为解决这一问题,

本文通过实验发现,

物体注意力的缺失是导致

物体幻觉的关键因素.

为缓解此问题,

本文引入了图像对比增强方法(ICE).

ICE是一种无需训练、操作简便的方

法,

通过对比原始视觉输入与增强视觉输入所产生的输出分布,

有效提升模型对图片的感知能力,

确保生成的内容

与视觉输入紧密契合,

从而生成上下文一致且准确的输出.

实验结果显示,

ICE方法在无需额外训练或外部工具的

情况下,

便能显著减轻不同LVLM的物体幻觉问题,

并在大型视觉语言模型基准MME测试中同样表现出色,

验证

了其广泛的适用性和有效性.

本文代码链接:

ChangGuiyong/ICE.

关键词:

大型视觉语言模型;

物体幻觉;

图像对比增强;

人工智能

引用格式:

卜立平,常贵勇,于碧辉,刘大伟,魏靖烜,孙林壮,刘龙翼.基于图像对比增强的大型视觉语言模型物体幻觉缓解.计算机系统应用,

2025,34(5):107–115.

/1003-3254/9881.html

MitigatingObjectHallucinationinLargeVisualLanguageModelThroughImageContrast

Enhancement

1,21,21,21,21,21,21,2

BU

Li-Ping,

CHANG

Gui-Yong,

YU

Bi-Hui,

LIU

Da-Wei,

WEI

Jing-Xuan,

SUN

Lin-Zhuang,

LIU

Long-Yi

1(Shenyang

Institute

of

Computing

Technology,

Chinese

Academy

of

Sciences,

Shenyang

110168,

China)

2(University

of

Chinese

Academy

of

Sciences,

Beijing

100049,

China)

Abstract:

Large

visual

language

model

(LVLM)

demonstrate

remarkable

capabilities

in

understanding

visual

information

and

generating

verbal

expressions.

However,

LVLM

are

often

affected

by

the

phenomenon

of

obje