基于FPGA的双图像传感器的设计方案.pdfVIP

基于FPGA 的双图像传感器的设计方案 莱迪思半导体白皮书 2012 年5 月 Lattice Semiconductor 5555 Northeast Moore Ct. Hillsboro, Oregon 97124 USA Telephone: (503) 268-8000 1 An FPGA-based Dual Image Sensor Design Solution A Lattice Semiconductor White Paper 引言 当人们考虑有两个图像传感器的应用时，首先很可能想到的是一个三维摄相机。不过，也 有许多设计可以通过使用来自两个图像传感器的数据进行改善;一个例子是汽车司机录像 机（CDR ）的黑盒子，这通常是安装在后视镜附近，拥有两个摄像机 （图1）。一个摄像 机朝向挡风玻璃，而另一个摄像机指向司机。在本地的存储器芯片中存储摄像机的视频， 如果有意外事故或疑问，可以进行检索。 Figure 1 – Car Driver Recorder 两个摄像机和其数据的其他应用包括对监视的精确分析，在车中对行人的检测。在这些设 计中，这两个相机的输出被用来创建一个包括深度感知的算法。有了这些数据，处理器可 以非常精确地“看到”图像和从阴影或其他物体中辨别出人。 所有这些设计都要求有一个图像信号处理器（ISP）。然而，一个ISP 支持两个传感器并 不简单。虽然大多数ISP 可以支持两个图像传感器的吞吐量，绝大多数ISP 器件已经设 计成只与一个传感器接口。即使有两个端口的ISP 往往不能组合在一起，同时处理两个 图像，或者，如果他们能做到，往往是非常昂贵的。 2 An FPGA-based Dual Image Sensor Design Solution A Lattice Semiconductor White Paper 除了这个ISP 接口被限制为只处理一个图像传感器之外，更高分辨率的图像传感器构成 了另一个设计挑战。从历史上看，通过统一的CMOS 并行总线（图2 ），所有高达 720p30 分辨率的图像传感器都被连接到ISP。 图2- 通过CMOS 并行接口连接ISP 对于720p60 和更高的分辨率，图像传感器无法通过CMOS 并行总线进行高质量的传 输。因为并行总线速度必须高于70MHz，开关噪声导致图像传感器的质量下降。为了解 决这个问题，图像传感器供应商引入串行而非并行总线来传输数据。然而，由于许多ISP 器件只设计成采用并行总线，需要将新的传感器的串行总线转换到这个并行总线（图 3 ）。 图3 - 转换到并行总线 最后，对于需要3D 算法的应用，这两个图像传感器必须同步工作。这不容易做到，因为 每个传感器的制造商都有自己的方法和格式。例如，一些图像传感器使用I / O 引脚来进 行触发，而其他制造商则使用I2C，SPI 或两者兼而有之。几乎所有的ISP 都面临着设计 挑战，以支持多种模式，从而确保各种传感器是同步的。 3 An FPGA-based Dual Image Sensor Design Solution A Lattice Semiconductor White Paper 一些ISP 厂商都试图来解决这个问题，通过提供两个独立的接口和两个处理引擎来支持 两个图像传感器。但是，结果是构成了一个非常昂贵的ISP 器件，不仅图像处理能力远 远超过实际的需求，而且对软件开发人员而言，配置和编程更加复杂。 如果一个设计正确地支持格式化两个传感器，使它们同步，在数据发送到ISP 之前以正 确的格式将数据合并，