实施立体视觉系统的构架与设计分析.docVIP

　　实施立体视觉系统的构架与设计分析 摘 要：双目立体视觉系统的原理在于模仿人类的双眼，通过一定的立体匹配算法计算出场景中各物体的深度信息，以完成三维重构、测距等功能。早期的立体?觉研究主要集中在算法优化上，各种各样的立体匹配算法被提出来。就目前最新的立体匹配算法而言，其效果已经可以媲美理想的场景深度。本文主要就双目立体视觉原理和实时立体视觉系统结构进行详细分析，然后结合实际对实时立体视觉系统的模块设计详细探究。 中国 1/vie 　　关键词：双目立体视觉系统；系统设计；方法 　　随着视频技术的发展，使用硬件实现实时的双目立体视觉系统也有了越来越多的研究，但是其硬件实现却一直存在计算精度和资源消耗这对矛盾，复杂的算法势必需要消耗更多的硬件资源，有些较新的算法甚至根本不适合使用硬件来实现。 　　1双目立体视觉原理和实时立体视觉系统结构分析 　　1.1双目立体视觉原理分析 　　双目立体视觉系统以人类的视觉系统为基础，通过双目摄像机获取双目图像，以各种不同的算法来计算出场景的深度信息，再通过对这些深度信息进行三维重构，以实现从二维空间到三维空间的转换。 　　1.2实时立体视觉系统结构分析 　　1.2.1camera_in模块 　　此模块为基于PE1005S摄像头的采集模块。当基于不同的摄像头模组时，可模块可以通过简单修改以配置不同的摄像头，如ov9710、ov7740等。 　　1.2.2video_det模块 　　此模块功能为检测所采集图像的实时分辨率，检测到的分辨率会实时保存下来，可以通过PLB总线进行访问。有了这个模块，就可以根据检测出来的分辨率来控制数据在DDR中的存放以及正确地显示图像。 　　1.2.3xsvi_in_ddr模块 　　此模块将从两路XSVI接口传送过来的数据通过两个FIFO进行缓存，然后通过两个独立的写时序状态机模块生成独立的MCB接口时序，最后由主控制电路controller进行仲裁和控制等并通过一个MCB接口写到DDR中。由于在大部分情况下，系统中DDR的写入时钟频率都与摄像头数据时钟频率不同，故所使用的FIFO只能是异步的，这样数据才不会错乱。 　　1.2.4ddr_to_xsvi模块 　　此模块预先通过读时序状态机模块将DDR里的数据缓存在FIFO里，然后根据外部来的数据请求信号将数据从FIFO里读出来，以XSVI接口传给下一个模块。同样，在大部分情况下，由于系统中DDR的读取时钟频率都与显示图像的时钟频率不同，故所使用的FIFO只能是异步的。 　　1.2.5video_gen模块 　　此模块在PLB总线来的控制下可以生成多种标准格式的视频信号，如VGA（640×480）、SVGA（1024×768）、SXGA（1280×1024）、UXGA（1600×1200）、720P和1080P等。另外，在整个系统的分布调试阶段，此模块还可以在未与实际视频数据连接的情况下生成指定格式的测试彩条，以对显示部分的各模块进行测试。 　　1.2.6dvi_out模块 　　此模块将XSVI接口的图像数据信号转换成DVI接口的信号。由于图像的时序部分已经有video_gen模块完成了，此模块的功能只是简单的数据格式转换已经同步。 　　1.2.7depth模块 　　此模块是整个系统的核心部分，所有的立体视觉算法都将在这个模块中进行。从数据流动的顺序主要包括代价初始化、代价融合、动态规划三个模块。其中，代价初始化通过census转换和SAD两种方法生成用于后续匹配运算的两种初始代价，代价融合将两种初始代价按一定的比例融合起来，动态规划用来寻找匹配点。另外，为了使生成的深度图更加准确，系统中还使用了图像矫正来处理由于摄像头组安装不规范和镜头畸变造成图像数据不匹配，背景去除和中值滤波用来优化生成的深度图。 　　2实时立体视觉系统的模块设计探究 　　图像处理系统平台构成。图像处理系统平台是双目立体视觉系统的基础，也可以说是所有图像处理算法验证的基础。因此在验证双目立体视觉系统的性能之前必须先搭建好完善的图像处理系统平台，主要包括图像采集、图像存取、图像显示三部分。例如图像显示模块，图像显示模块主要由分辨率生成模块video_gen和DVI时序模块dvi_out组成[4]。video_gen模块用来生成不同分辨率的视频所需要的标准时序，由两个计数器和两个状态机组成，行计数器和行状态机用来生成行同步时序，而场计数器和场状态机用来生成场同步时序。 　　实时立体视觉模块，双目立体视觉模块主要由disparity_rd和disparity_atching模块计算深度图，然后在控制电路的配合下将生成的disparity通过一个MCB口存入内存控制器中。由于整个系统考虑了模块化设计，本模块中使用的mc