基于可编程片上系统的实时立体匹配.docx

基于可编程片上系统的实时立体匹配 一、综述 立体匹配（Stereo matching）是计算机视觉领域中的一个重要问题，它的目的是计算出一对立体图像中每个像素点的对应关系。立体匹配在3D视觉、自动驾驶、机器人导航等领域中都有广泛应用。 在立体匹配中，常用的算法有基于视差的算法、基于区域的算法、基于深度学习的算法等。而在实现立体匹配算法时，可编程片上系统（Field Programmable Gate Arrays, FPGA）因其高度并行、低功耗的特性，成为了一种非常有力的选择。 本文将介绍一个基于可编程片上系统的实时立体匹配算法。主要思路是利用FPGA的并行计算能力和流水线架构，将图像处理操作进行流水线并行处理，实现了低延迟、高频率的立体匹配算法设计。 二、算法思路 2.1 立体匹配算法 立体匹配算法的主要思路是计算出左右两张图像中每个像素点的视差，通过视差信息来计算出3D场景中各点的深度信息。在不同算法中，如何计算视差信息有着很大的不同。 最简单的算法是基于差异的立体匹配算法，首先计算出两张图片中对应像素点的灰度值差异，也称为代价函数（Cost Function）。然后，在右图像中搜索与左图像某个像素点最相似的像素点，即代价最小的像素点，这个像素点的视差即为这两个像素点的视差。这个过程可以通过移动窗口的方式来实现。 此外，基于区域的立体匹配算法、深度学习算法等也可以计算出像素点的视差信息。 2.2 实时计算 对于实时计算，需要满足低延迟和高频率的要求。低延迟要求每一帧图像的处理时间要尽量短，高频率要求能够在指定的频率内完成图像处理。 在传统的图像处理算法中，处理速度主要受限于计算能力和算法的逻辑复杂度。因此，为了实现实时计算，需要通过优化算法和硬件架构来提高计算效率。 2.3 基于可编程片上系统的流水线架构 FPGA是一种灵活可编程的硬件平台，它采用并行计算方式，支持设计者对硬件电路进行自定义，可以适应不同的算法需求。因此，使用FPGA实现基于流水线的并行处理，可以加速图像处理的速度。 流水线处理是一种有效的并行处理方式，它将数据流分成多个阶段，每个阶段在不同的时钟周期完成处理，从而达到并行处理的效果。流水线架构可以很好地解决处理速度的问题，同时也满足了硬件资源的分配。 三、系统架构 3.1 系统框图 系统框图如下所示：  3.2 系统实现 系统的实现主要包括以下几个模块： 1. 图像传输模块：负责将摄像头捕获到的图像传输到FPGA上，并对传输的数据进行解析。 2. 图像处理模块：该模块是整个系统的核心，负责对传输进来的图像进行立体匹配处理。该模块具有极高的并行计算性能，采用流水线架构。 3. 数据输出模块：负责将处理后的图像数据输出给后续处理单元。 四、实验结果 本文实现的系统基于Xilinx公司的Zynq-7000系列FPGA开发板，搭载了双目摄像头用于图像采集。实现了基于差异的立体匹配算法，并在FPGA上进行流水线并行计算，实现了低延迟、高频率的立体匹配计算。 在测试中，我们使用均分图像的方法得到了左右两张图像，然后通过Zynq系统传输到FPGA中进行处理。因为采用了流水线架构并且FPGA的硬件优化程度较高，系统处理速度非常快，能够在30帧/秒的速度下实时处理双目图像，并计算出每个像素点的视差信息。 五、总结 本文介绍了一个基于可编程片上系统的实时立体匹配算法。通过使用FPGA的并行计算能力和流水线架构，实现了低延迟、高频率的立体匹配计算。这种算法可广泛应用于3D视觉、自动驾驶等领域中。为了提高系统效率，可以继续研究更精细的算法和更优化的硬件架构。