基于fpga的全彩色图像采集系统设计.docxVIP

基于fpga的全彩色图像采集系统设计 1 算法的有效性以及实验与意义 为了从cd-42图像探测器中收集景观图像的全色彩，通常使用三个探测器和光刻简单法。但是, 出于系统体积、重量和维护难易程度等因素的考虑, 实际应用往往使用一片图像探测器, 但是在探测器前覆一层膜 (CFA) , 例如应用最为广泛的Bayer格式［１］。再结合去马赛克算法就可以得到全彩色图像, 显然, 算法的优劣对彩色图像的质量将起到举足轻重的作用。目前去马赛克算法的研究现状可归纳为两点, 易于FPGA等硬件实现的各种线性算法基本上插值效果都不能令人满意［２－４］;而插值性能优良的非线性算法, 其实现难度却都比较复杂, 大部分还停留在理论研究或计算机仿真的层面［５－９］, 不能或不易FPGA硬件实现。而另一方面, 随着探测器分辨率越来越高、帧频越来越快, 图像的传输已经成为了制约图像应用的瓶颈, 特别是远程传输应用, 因此, 基于GigE的图像传输已经成为未来数字相机系统的趋势。好的算法与设计只有运行在合适的硬件平台才能发挥其长处, FPGA凭借其并行运算优势, 有较多高等级的产品 (比如宇航级芯片) 可供选择, 使其在图像处理领域［１０－１１］, 特别是空天应用的图像处理领域受到越来越多的重视。本文正是在这种大背景下, 依托某预研课题研究并设计了一套基于FPGA的全彩色实时图像采集系统, 取得了较好的效果。 2 phy芯片的工作过程 本文彩色图像采集系统的原理框图如图1所示。采用的CMOS图像探测器是美光公司的MT9M011, FPGA使用的是Xilinx公司的Virtex-4, 型号为XC4VSX55, PHY芯片则是MARVELL公司的MX88E1111。 系统的工作过程为:当系统上电稳定后, 首先通过FPGA对MT9M011 图像探测器的寄存器进行配置, 使其正常工作并输出Bayer格式图像, 然后将Bayer格式图像顺序送入FPGA, 先对其进行8bit量化, 然后进行去马赛克等彩色相关处理, 最后经过GigE接口将彩色图像输出, 整个处理过程以流水线的形式进行, 做到了图像的实时处理与输出。下面将结合图1详细介绍各个功能模块的设计原理与硬件实现过程。 2.1 基于fpga输出图像的模型仿真 MT9M011是美光公司的一款基于Bayer格式的彩色CMOS图像探测器, 其设计简单、性能稳定, 因此, 被广泛用于需要彩色成像的系统。 与其他公司的CMOS探测器相比, 该探测器时序相对比较简单, 仅仅通过类似于I２C传输协议的串行线完成对特定寄存器的配置, 就可使其正常工作［１２］, 需要配置的主要寄存器包括:改变输出图像分辨率的R03与R04, 调节帧频的R05及改变曝光时间的R09 等。本文根据实际应用需要, 将探测器工作状态设置在分辨率为1 280×1 024、帧频为15f/s的模式下, 其中, 曝光时间通过RS422 总线, 根据外部成像条件实时进行修改。图2所示为写05号寄存器为0x110, 设置帧频为15f/s的Modelsim仿真波形, 其他寄存器设置与此类似。当设置完寄存器, 探测器就开始输出图像了。需要指出的是, 为了保证探测器的输出稳定性与可靠性, 本设计还在每帧图像的帧逆程期间都对相应的寄存器进行一次配置。 2.2 本文去射线材料插值过程 通常, 自然界图像的能量谱主要集中在低频区域［６］, 即沿着给定像素的水平和垂直轴线分布, 因此, 本文去马赛克算法的插值过程主要是基于水平和垂直方向进行。文献［１３］算法结合以上特点, 取得了较好的彩色恢复效果。因此, 本文在文献［１３］的基础上对算法进行了进一步的简化和改进, 在基本不降低彩色恢复效果的前提下大大节约了硬件资源。下面将结合图3所示的Bayer格式图像对算法进行详细说明。 2.2.1 向绿色分量的选择 红色通道和蓝色通道均存在缺失绿色分量, 考虑到Bayer格式的对称性, 此处仅以计算红色通道缺失的绿色分量为例进行介绍。首先, 应用二阶拉普拉斯修正网络如图3所示。以R０为中心的5×5Bayer格式图像, 插值得到处水平方向绿色分量和垂直方向绿色分量, 如式 (1) 和式 (2) 所示: 将整幅Bayer图像的红色通道应用式 (1) 和式 (2) , 得到图像中所有红色通道缺失的水平和垂直绿色分量。 这时, 我们依据色差梯度来选择绿色分量, 因为梯度大的方向色差值变化剧烈, 不易估计, 因此, 我们取梯度值小的作为插值结果。首先构造式 (3) 和式 (4) 所示的色差表达式: 其中:i, j表示每个像素的行列号, 假设图像的分辨率为M×N, 则1≤i≤M, 1≤j≤N。再构造色差的梯度表达式如式 (5) 所示: 得到色差梯度以后, 我们构造一个5×5的窗口来统计窗口内的梯度值, 取