智能网联汽车传感器技术--视觉传感器的认知及结构与原理.pptxVIP

2023视觉传感器的认知

视觉传感器的定义车载视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头出现，并搭载先进的人工智能算法，便于目标检测和图像处理。视觉传感器是人工智能的一个分支，起源于20世纪80年代的神经网络技术，通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息，理解并通过指挥特定的装置执行决策。

视觉传感器的主要指标视觉传感器的主要参数有像素、帧率、靶面尺寸、感光度、信噪比和电子快门等。（1）像素。像素即构成影像的最小单位，是图像传感器的最小感光单位，像素越多，则图像传感器上的光敏元件数目越多，就可以感测到更多的物体细节，因此，图像就越清晰。（2）帧率。帧率代表单位时间内所记录或播放的图片数量。（3）靶面尺寸。靶面尺寸就是图像传感器感光部分的大小。一般用英寸（in）来表示，通常这个数据指的是这个视觉传感器的对角线长度，如常见的有1/3in，靶面越大，意味着通光量越好，而靶面越小则比较容易获得更大的景深。（4）感光度。感光度表示入射光线的强弱。感光度越高，感光面对光的敏感度就越强，快门速度就越快。（5）信噪比。信噪比是指信号电压对于噪声电压的比值，单位为dB。信噪比的典型值为45～55dB，信噪比越大说明对噪声的控制越好，图像质量越好。（6）电子快门。电子快门用来控制图像传感器的感光时间，电子快门越快，感光度越低，更适合在强光下拍摄。

视觉传感器的类型及原理按照镜头和布置方式的不同，视觉传感器可以分为单目摄像头、双目摄像头、三目摄像头、环视摄像头。三目摄像头环视摄像头双目摄像头单目摄像头

视觉传感器的类型及原理（一）单目摄像头单目摄像头的优点是成本低廉，一般安装在前风窗玻璃上部，能够识别具体障碍物的种类，识别准确。它的视野完全取决于镜头。焦距短的镜头，视野广，但缺失远处的信息。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。

视觉传感器的类型及原理（二）双目摄像头双目视觉测距就像人用双眼观察事物一样，主要利用同一时刻不同摄像头之间的视差对目标的深度进行测量。相比于单目视觉测距，双目视觉测距的原理较为简单，不依赖于训练和学习，因此不需要庞大的训练集。双目视觉测距依靠不同摄像头同时获得的两幅图像，计算物体在两幅图上的视差就可以得到图像中的深度信息。双目视觉传感器优缺点：（1）距离、角度测量精度高；（2）对人工智能（AI）软件依赖程度较低；（3）易受雨雪天气影响；（4）应用成本较高。

视觉传感器的类型及原理（三）三目摄像头由于单目摄像头和双目摄像头都存在某些缺陷，而三目摄像头感知范围更大，是三个不同焦距的单目车载视觉传感器的组合。很多智能网联汽车采用了三目视觉传感器方案。例如特斯拉使用的就是三目视觉传感器。三目摄像头外观如图所示。但同时要标定三个摄像头，工作量较大。三目摄像头

视觉传感器的类型及原理（四）环视摄像头环视摄像头可实现360°环境感知，图像采集后经过图像拼接，可实现从车顶往下看的效果，其感知范围不大，环视摄像头主要用于车辆5～10m的障碍物检测、自主停车时的库位线识别，为了获得足够大的视野，一般都使用鱼眼摄像头，但鱼眼摄像头的图像畸变较为严重。环视摄像头一般至少由4个鱼眼摄像头组成，通常都朝向地面安装。环视摄像头外观如图所示。环视摄像头

2023视觉传感器的结构与原理

视觉传感器的结构视觉传感器主要功能是获取足够的机器视觉系统要处理的原始图像。把光、摄像机、图像处理器、标准的控制与通信接口等集成一体的视觉传感器常称为一个智能图像采集与处理单元。

摄像头主要由镜头、镜头座、影像传感器（主要是CCD/CMOS器件）、DSP等组成。视觉传感器的结构

视觉传感器的结构（1）镜头镜头的组成是透镜结构，由几片透镜组成，一般有塑胶透镜或玻璃透镜。通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、4G等。透镜越多，成本越高。光学镜头我国企业占据全球市场的龙头地位舜宇全球车载摄像头出货量第一.

视觉传感器的结构（2）镜头座镜头座是用来固定镜头的，镜头是螺旋在镜头座里面的，按照材质分类，镜头座常分为2类：塑胶镜头座：成本低，使用普遍。金属镜头座：成本高，散热性好（3）影像传感器（主要是CCD/CMOS器件）影像传感器中的成像芯片（CCD/CMOS器件），是摄像头的心脏，他们将光信号转变为电信号进行信息的传递。CCD图像传感器CMOS图像传感器

CCD图像传感器CCD，也