融合上下文增强与图像频率引导的MVS方法.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

2025,34(3):259−267

[doi:

10.15888/ki.csa.009824]

[CSTR:

32024.14.csa.009824]

©中国科学院软件研究所版权所有.Tel:

+86-10

融合上下文增强与图像频率引导的MVS方法①

1,211

陈曦,

刘美,

陈嘉升

1(广东石油化工学院

自动化学院,

茂名

525000)

2(广东工业大学

自动化学院,

广州

510006)

通信作者:

刘美,

E-mail:

liumei_@

摘要:

基于学习的多视图立体匹配算法目前成果显著,

但是仍然存在的卷积感受野受限以及忽略图像频率信息导

致在低纹理、重复和非兰伯曲面匹配性能不足的问题,

针对以上问题提出了上下文增强与图像频率引导的多视图

立体匹配网络

CAF-MVSNet.

首先,

在特征提取阶段,

将上下文增强模块融合到特征金字塔网络中,

有效地扩大网

络的感受野.

然后引入了图像频率引导注意力模块,

通过编码图像的不同频率获取图像的线条、形状、纹理和颜色

等信息,

增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,

以实现可靠的

特征匹配.

在

DTU

数据集上的实验结果显示,

与经典的级联模型CasMVSNet相比综合误差(overall)提升了12.3%,

展现了优秀的性能.

此外,

在Tanks

and

Temples数据集上也取得了不错的效果,

展现了良好的泛化性能.

关键词:

多视图立体匹配;

三维重建;

上下文增强;

图像频率引导;

深度学习

引用格式:

陈曦,刘美,陈嘉升.融合上下文增强与图像频率引导的MVS方法.计算机系统应用,2025,34(3):259–267.

/1003-

3254/9824.html

MVSMethodCombiningContext-enhancedandImage-frequency-guide

1,211

CHEN

Xi,

LIU

Mei,

CHEN

Jia-Sheng

1(School

of

Automation,

Guangdong

University

of

Petrochemical

Technology,

Maoming

525000,

China)

2(School

of

Automation,

Guangdong

University

of

Technology,

Guangzhou

510006,

China)

Abstract:

Learning-based

multi-view

stereo

matching

algorithms

have

achieved

remarkable

results,

but

still

have

the

problems

of

limited

convolutional

receptive

field

and

ignoration

of

image

frequency

information,

which

lead

to

insufficient

matching

performance

on

low-texture,

repetitive,

and

non-Lambertian

surfaces.

To

address

these

problems,

this

study

proposes

CAF-MVSNet,

a

context-enhanced

and

image-frequency-guided

multi-view

stereo

matching

network.

First,

the

context

enhancement

module

is

fused

into

the

feature

pyramid