基于学习模板重构的彩色图像传感器串扰补偿研究.pdf

基于学习模板重构的彩色图像传感器串扰补偿研究

摘要

近年来，图像传感器作为电子消费设备、监控摄像、机器视觉、科学观测等各种

生活专业领域的核心器件，发展势头十分迅猛。其中电荷耦合器件（ChargeCoupled

Device，CCD）和互补金属氧化物半导体（ComplementaryMetalOxideSemiconductor，

CMOS），由于其良好的视觉性能，被大规模应用于图片数据采集，获取视觉信息，满

足实际应用理论需求。CMOS图像传感器工作过程中，由于其内部结构及成像机理，

存在随机模式噪声和固定模式噪声。其中固定模式噪声具有一定规律，因此可以通过

降低固定模式噪声提高成像质量。基于上述背景，本文主要工作如下；

首先，针对CMOS彩色图像传感器光电转换过程中的部分电荷串扰机制，提出一

种基于学习模板重构的彩色图像传感器串扰补偿方案。设置曝光实验以及基于学习模

板重构神经网络串扰补偿实验，采集不同曝光强度下的图像数据拟合得到光子转换曲

线，定义串扰不显著区，利用串扰不显著区内像素光响应特性分析补偿串扰噪声。

其次，建立曝光系统和数据采集控制系统，控制位移平台定位光场中心，确保均

匀辐射曝光，减少色彩混叠噪声干扰。基于载流子扩散机制，设计四种33中心像素

串扰补偿模板，得到中心像素的理论灰度值以及相邻像素实测灰度值，构成原始数据

集。为了解决平场光下，图像数据中模板中心像素相邻像素灰度值数据缺乏差异性问

题，本文基于神经网络学习模板重构原理，将采集到的不同区域模板数据进行数据重

组，进一步强化神经网络学习模拟环境的真实性，提高神经网络的泛化能力。

最后，将基于学习模板重构的数据作为卷积神经网络的输入，训练得到四种中心

像素串扰补偿网络模型。设置对照实验，对比单纯使用卷积神经网络和基于学习模板

重构进行数据增强后的卷积神经网络串扰噪声校正效果。选取灰度直方图和傅里叶变

换频谱图进行实验评价，同时引入SMD函数、Sobel函数、Laplacian函数和峰值信噪

比等量化评价指标。为了增加本研究的可靠性，设置传统算法与本研究算法对图像串

扰补偿效果的量化对比，结果显示本研究算法各项评价指标数值提升最高。相较于原

始图像，SMD函数值提高24.52%，Sobel函数值提高10.70%，Laplacian函数值提高

9.287%，PSNR函数值为45.679。实验结果显示，本研究方案对于抑制图像传感器工作

过程中产生的串扰噪声具有一定效果，为传感器串扰噪声的校正提供了新的启发。

关键词：CMOS彩色图像传感器；人工神经网络；串扰噪声校正；学习模板重构

基于学习模板重构的彩色图像传感器串扰补偿研究

Abstract

Inrecentyears,imagesensorshavedevelopedrapidlyascorecomponentsinvarious

professionalfieldsoflife,suchaselectronicconsumerdevices,surveillancecameras,machine

vision,andscientificobservation.Amongthem,ChargeCoupledDevice,CCDand

ComplementaryMetalOxideSemiconductor,CMOS,Duetoitsexcellentvisualperformance,

ithasbeenwidelyappliedinimagedatacollection,obtainingvisualinformation,andmeeting

thetheoreticalneedsofpracticalapplications.DuringtheoperationofCMOSimagesensors,

therearerandommodenoiseandfixedmodenoiseduetotheirinter