空间频率感知的 RAW 图像目标检测.pdfVIP

空间频率感知的RAW图像目标检测

111

ZhuohuaYe,LimingZhang,HongruHan

1UniversityofMacau

yc37977@.mo,lmzhang@.mo,yc37462@.mo

Abstract

直接基于RAW的数据对象检测通过利用RAW数据（未

经处理的传感器数据）提供了巨大的前景，但由于其宽

动态范围和线性响应，面临着抑制关键对象细节的固有

挑战。特别是，现有的增强方法几乎都是在空间域中进

本行的，这使得很难从RAW图像的偏斜像素分布中有效

译恢复这些被抑制的细节。为了解决这一局限性，我们转

中向了频域，在那里可以根据频率自然地分离特征，如物

体轮廓和纹理。本文提出了一种新的框架——空间-频率

1感知RAW图像对象检测增强器（SFAE），该框架将空间

v表示与频率表示协同结合。我们的贡献有三个方面。第图1:图像信号处理器（ISP）在相机中的示意图。

6

9一个在于“具体化”频率带。不同于传统的直接在深度网

3络中操作抽象频谱的范式，我们的方法将各个频率带逆

1向转换为具体的地图，从而保留了直接的物理直觉。然文献中处理RAW数据的研究主要分为两个方

0

.后开发了一个跨域融合注意力模块，以实现这些地图和向。一个方向仅关注空间域，旨在替代传统的图像

8原始空间特征之间的深层多模态交互。最后，框架通过信号处理器（ISP）。这一领域的研究从早期基于U-

0

5预测并应用不同的伽玛参数来进行自适应非线性调整。Net的模型(Chenetal.2018)发展到更复杂的架构

2(Daietal.2020)，这些架构采用了多尺度处理(Igna-

:

v介绍tov,VanGool,andTimofte2020)和小波变换(Lamba

i

xandMitra2021)，并且随后关注轻量级设计(Chenand

r如图1所示，RAW图像为相机传感器的直接输出。Ma2022;Ignatovetal.2022,2021)以实现实时性能。另

a

具体而言，它们被捕获为单一通道的光强度马赛克，其一种主流研究探索将深度网络与可解释的ISP模块结

中每个像素点被滤波以接收红色、绿色或蓝色光子，通合的混合方法，例如通过ISP和基于学习来模拟RAW

常排列成拜耳模式（例如RGGB）。因此，尽管技术上数据(Brooksetal.2019)的去处理sRGB图像，或者使

是单通道图像，RAW图像包含了所有三种基本颜色用网络预测传统ISP模块的参数(Condeetal.2022)，

的未处理信号。这种原始格式保留了场景(Chenetal.或将图像映射到设备无关的空间并通过基于网络的ISP

2018;Zamiretal.2020)的完整信息，并作为标准RGB进行处理，然后再重新渲染为sRGB(Afifietal.2021)。

（sRGB）的基础来源。这也使其理论上成为对象检测等尽管上述所有研究流都从RAW数据开始，但它们

高级视觉任务的理想媒介。然而，在实践中，RAW数据服务于非常不同的目标。RAW到sRGB的转换管道是

面临巨大挑战，因为其高动态范围和线性特征导致像素