与立体相机相结合的实时FPGA矫正的实现概要1.docx

与立体相机相结合的实时FPGA矫正的实现Junwon Mun、Jaeseok Kim摘要：在本文中，我们提出了实时的基于FPGA的矫正算法的实现具有立体相机相结合。精馏是用于立体匹配的必要预先要求步骤对齐左和右图像，包括径向失真的校正。在我们的实验中，我们实施了整流模块的FPGA与立体相机视频情况来验证相结合。其结果是，整顿的高清图像在45 fps的处理，与Zynq7020 FPGA。关键词：立体视觉、矫正、FPGA一、导论矫正立体匹配面前的一个重要步骤校准两侧图像的极线。除了，立体视觉广泛用于自主字段，它使用鱼眼镜头。因此，校正算法包括用于校正镜头失真都对准过程和校准过程。?一些提出矫正和校准算法，并提出了Zicari基于FPGA的整流架构立体视觉[?1?] [?2?] [?3?] [?4?]。为了测试视频环境立体视觉，需要整个系统设计，有效地设计硬件。在本文中，我们提出了FPGA Zynq7020用立体相机相结合实时处理矫正实现。我们描述了我们的整个系统图。1。图。1.我们的矫正实现的制度。首先，立体相机数据通过LAN电缆进入FPGA开发板和两个图像数据同步模块同步。接下来，矫正存储在RAM块数据的具体金额后进行。在矫正过程中，为矫正图像的像素地址，这是一般不是整数值获得的原始图像的像素地址。因此，使用周围的角顶点值插值应该进行，以获得整流图像的像素值，而不阻断作用。最后，整流图像数据存储在外部存储器中，并传输到通过HDMI电缆的监视器。二、A.摄像机输出信号图在硬件设计整流算法之前，我们必须分析摄像机的输出信号，它是在示图2。图。2.相机时序图。三个主要的输出信号进行了描述。请注意，图像数据是有效的，当行同步（HREF）上。时钟的具体数是不同，这取决于照相机说明书中，但大多数相机时序图具有类似的输出格式。在我们的系统中，HSYNC是关于2560（2 *?行）的时钟，在同一时间，1280（行产生）的像素数据YCB / YCR。在此之后，HSYNC反复关闭了1004个时钟周期。在我们的实验中，我们使用的像素数据的仅Y分量。B.同步模块事实上，只有整顿无需哪个同步CAM1和CAM2同步模块。然而，当我们调用外部存储器中的数据是值得在同一地址存储在一起两侧图像“整流数据。C.整顿和插值在我们的实现，修正算法被称为MATLAB标定工具箱。有几个扭曲的图像中提取矫正参数后，它总是需要大约160线内存中的数据;?原来和矫正图像之间线路不同的是。因此，80行数据被存储在BRAM后，精馏可以启动。在整顿和内插程序，我们需要两个读/写操作。需要对原始数据保存到BRAM阅读获得插值角顶点的数据时，需要操作和写操作。其他操作都读/写所需时线移位。以实时进行，对于每行两个约束应分别2560时钟和1004的时钟，来满足。许多方法来构造BRAMs是存在的，但最佳的方法是使用两个BRAMs 256象素数据的宽度和400的深度，如图所示。3。注意的有BRAMs那全尺寸160线。图。3.施工brams整顿和插值。如果数据宽度过长，许多寄存器的写，需要原始数据。否则，太多BRAM实例不能与合成工具合成，并且需要至少两个BRAM实例来满足第一个约束;?每个BRAM是奇数行和偶数行。内插四个象素数据由两个奇数行数据和两个偶数行数据的，因此，我们可以从两个奇数行和偶数行的每时钟获取像素数据。在换档操作的情况下，160线转移可在800个时钟来完成，通过阅读一千二百八十零分之二百五十六（）线数据和写入0.2线数据。这是我们选择的块RAM的数据宽度为256像素其中寄存器使用的数量降至最低尺寸的原因。三、在我们的实验中，我们使用的是在72MHz的操作的立体摄像机和帧速率是HD图像45FPS。而我们的硬件设计是Zynq7020 FPGA中实现。作为合成结果，最大频率为为135MHz，在后PAR报告合成报告及97MHz。合成报告的摘要示于表1中。另外，精馏在两个照相机同时处理。表一利用率摘要分数位的数目被决定满足行索引的误差小于2行。大乘数??被分成两个子乘法器减少布线延迟，和一个分离被分解以高的时钟频率来执行，比相机操作频率更最少。这需要15个时钟整顿程序和1个时钟进行插补程序。为了验证我们的矫正实现，我们画一条直线穿过第一交叉点传递图。4，观察在原始图像的直线不通过这两个交叉点，而它整流图像同时通过第一个交叉点。图。4.验证矫正结果。四、在本文中，我们提出了矫正实时FPGA实现。根据摄像机输出的信号，无论是线移位操作和矫正顺序进行。使用两个BRAMs各避免消耗不必要的寄存器和满足实时流水线过程中，同时进行。其结果是，矫正与Zynq7020 FPGA板在45FPS表现不错实时，高清图像。REFERENCES [1] Heikkila, Janne, and Olli Sil