基于DM642Bayer格式图像修复系统.docVIP

基于DM642Bayer格式图像修复系统 　　[摘 要] 提出了一种基于数字信号处理器（DM642）和可编程逻辑门阵列（FPGA）架构的Bayer格式图像修复系统，可应用于高速图像采集和实时处理。该系统采用双处理器流水线体系结构，DM642计算出改进的四点像素Bayer格式图像校正参数，FPGA根据校正后的参数对失去的像素进行恢复，再按一定的数据格式打包传给DM642进行双线性插值运算。实验结果表明，该系统完成一幅大小为752x480像素的Bayer图像修复大约需要15ms，完全可满足实时性的要求，解决了传统的双线性Bayer图像恢复算法效果不理想，边界部分不明显，局部图像有团块等问题。 　　[关键词] DM642； FPGA； CMOS图像传感器； 双线性插值 　　中文分类号：TP338.6 文献标志码：A 　　0 引言 　　在煤矿生产综采过程中，为保证安全生产，在个主要部门和生产环节架设视频监控系统，以保障安全生产。以我国最常见的深井综采为例，在地面上，我们需要将地面变电站，井口人工进口和物料进口等主要部门进行和生产环节进行实时监控。在综采井底，我们对我们对罐笼人员和物料的出口、井下中央变电站、水泵房、采掘面供配电硐室等重要生产环节进行视频监控。而后将地面和地底所有的监控信号实时传至地面中央集控室，进行统一管理。在各主要环节的视频信号的实时监控室煤矿安全生产的一个主要的保障措施。 　　高精度图像实时处理技术在机器视觉、通信、医学、雷达成像、红外探测、航天航空等领域得到越来越多的应用。由于图像传输数据量大，数据处理实时性要求高，这就需要运算速率高以及算法处理速度快的处理系统。这里提出了一种针对工业质量检测中CMOS传感器Bayer格式图像进行像素修复和转换为RGB格式的图像进行实时处理的解决方案；该方案是以DM642和FPGA为架构，CMOS传感器采集出来的是Bayer格式的图像数据，FPGA利用DM642计算的校正参数分别提取出四个通道RGGB数据，打包后再发送给DM642进行双线性插值算法，最终还原出一帧RGB格式图像。这种基于DM642硬件的实现，大大提高了图像的精确精，为进一步进行算法处理提供良好的基础。该系统还充分发挥了FPGA的设计灵活和DSP的算法运行速度快的优势，能更好的提高系统实时处理图像的性能，降低成本。 　　1 Bayer图像格式 　　绝大多数CMOS图像传感器均采用Bayer滤光片把输入光束信号分解为RGB三基色，且每个像素点只采集一种颜色光的亮度。系统中CMOS图像传感器输出752 × 480 × 8 bit的Bayer格式的图像（此格式的图像本身就是数字信号，无需对图像进行模数转换），Bayer图像格式如图1所示，每一个方格代表一个像素，并且只含有R、G、B中的一种颜色分量，奇数行由G、R像素交替构成，偶数行由B、G像素交替进行，其中绿色像素（G像素）最多，占1/2，红色像素（R像素）和蓝色像素（B像素）各占1/4。这是因为人眼对亮度信息最敏感，而绿色像素对亮度的贡献最大。为了获得彩色图像，必须利用插值方法恢复出丢失的另外两个颜色分量，通常称这种插值方法为彩色插值（Color Interpolation）。所以如果G分量采用好的插值方法，不仅可以提高G像素分量的质量，也能提高R和B像素分量的质量。DM642接口数据总线采用8位，需要FPGA先将输出的图像数据按每4个像素提取出一个通道数据包的方法分别取出R、G、G、B四个通道数据，然后打包后传送给DM642进行双线性插值，最后将Bayer图像格式转换成24位的RGB图像格式和亮度信号。 　　2 Bayer图像处理算法 　　2.1 Bayer图像数据预处理算法 　　由于物体被电灯或阳光加热到一定的温度时，就会发出一定的光线，此光线不仅含有亮度的成份，更含有颜色的成份，而色温越高，蓝色的成份越多，图像就会偏蓝；相反，色温越低，红色的成份就越多，图像就会偏红，因此，如果照射物体的光线发生了变化，那么其反映出的色彩也会发生了变化，从而影响到后期算法处理的结果；这就需要对数据图像进行像素修正，对彩色恢复的研究，近二十年内国内外学者提出了很多相关算法，一般来说可以分为两类。 　　（1）单个通道独立插值算法：未知的红、绿、蓝通道分量值直接由相应的已知像素值进行估算而不考虑她们之间的相关性，其中比较典型和应用较多的算是双线性法了。这种算法未考虑各通道之间的相关性，还有在边缘区像素取值具有方向性，不能简单由周围像素的平均值得到，所以容易造成一定的边缘模糊。 　　（2）信号相关插值算法：考虑多通道的相关性及图像细节进行插值，但算法复杂，在硬件实现时将消耗大量的硬件资源，而且复杂算法大都是串行执行，很难做到实时处理。 　　基于以上不足，本文采用4点像素修复法，将一帧大