天智系统 三维带电空间警示系统 项目技术总结报告.docVIP

三维带电空间警示系统 技 术 总 结 报 告 目录 1. 双目测距理论依据 3 2. 立体标定技术 5 3. 立体匹配技术 8 4. 警戒平面划定与报警技术 12 5. 系统工作流程 14 6. 模拟场景及其解决方案 16 6.1 模拟场景1 16 6.2 模拟场景2 17 1. 双目测距理论依据 图1双目测距原理立体图 如图1所示,空间中一点P，其在左摄像机坐标Oc-XcYcZc中坐标为P(xc,yc,zc)，在左摄像机成像平面坐标系Ol-XlYl上的成像点为pl(xl,yl)，在右摄像机成像平面坐标系Or-XrYr上的成像点为pr(xr,yr)。两个摄像机坐标系原点之间的距离即基线距B。以左摄像机坐标系为基准坐标系。假定左右摄像机成像平面在同一平面，左右摄像机在同一水平线上，且图像无畸变，则有Yl=Yr=Y。现只考虑X轴和Z轴所组成的平面，相当于俯视图1。如图2所示为只考虑X轴和Z轴的示意图。 图2双目测距原理平面图 如图2所示的理想平面图，假定左右摄像机的投影中心OL和OR在同一水平线上，且成像无畸变，左右图像行严格对准。空间一点P(X,Y,Z)在左右相机的成像点分别为A和B。投影中心OL和OR之间的距离为b（基线距B），P到两个相机的投影中心的距离为Z。点A相对于左摄像机的成像平面中心Ol的横坐标值为xL，点B相对于右摄像机的成像平面中心Or的横坐标值为xR。则根据三角形相似原理三角形PAB相似于三角形POLOR，则有 （1） 由公式（1）推出深度的计算公式为 （2） (3) (4) 其中Xl和Yl为物体在左摄像机成像平面中相对于成像中心点的坐标值。三维带电空间警示系统就是围绕此理论依据展开，求得物体相对于双目摄像机左摄像机的投影中心的空间坐标，通过计算比较判断相关物体的欧几里得距离做出相应的判断，进而决定是否报警。由于此理论模型是在理想状况下推导出的，由于各种原因实际成像不再同一平面和行不对准，故需要立体标定等模块进行标定，通过数学手段达到理论模型的基本要求。 2. 立体标定技术 立体标定的目的是获取摄像机的内部参数，通过使用数学方法消除摄像机所成图像的径向和切向畸变，计算出左右摄像机的位置关系，输出航对准的校正图像，便于立体匹配模块进行立体匹配以便求取视差进而计算深度信息。 常用的对单目摄像机标定有很多种标定方法.具有代表性有Roger Tsai的基于径向约束的两步法，基于平面靶标的张正友方法。其中前者首先利用最小二乘法解超定线方程，给出外部参数，再利用非线性优化方法获得全部参数，后者只需要摄像机在不同的方位中拍摄同一个平面靶标，假定在标定过程中摄像机的内部参数为常数，只有外部参数变化。考虑到立体标定同时标定左右摄像机和计算相应的两摄像机间位置关系的需要，本系统中采用张征友的标定方法求取焦距和偏移。利用Brown的方法求取畸变参数。 单目标定的前提是获得参照物在左右摄像机成像平面的成像点，本文采用Harris角点及其亚像素角点获得靶标在成像平面的成像点。 由单目标定得到的摄像机内部参数包括焦距、成像中心点坐标值（如式（5）所示为内部参数矩阵）和畸变参数k1,k2,k3,p1,p2，根据公式（6）可以得到没有畸变的标定结果。 （5） 公式（5）中fx和fy为相机的横向和纵向焦距，此处求出的数值单位为像素，cx，cy相机成像的中心坐标的横向坐标和纵向坐标。 （6） 其中(xud,yud)为无畸变点位置, (xd,yd)为有畸变点位置。k1，k2，k3为径向畸变参数，p1，p2为切向畸变参数。 在上述单目标定操作中可以求取每个棋盘格视图对应于左右相机的旋转矩阵Rl与Rr，以及平移矩阵Tl和Tr，]由公式（）R和平移T的关系。 利用Levenberg-Marguardt(LM)优化方法求取棋盘角点在两个摄像机视图上的最小投影误差得到最终的R和T。最后根据Bouguet方法校正左右摄像机图像得到行对准图像。如图3所示。 图3行对准图像 如图3所示为行对准图像，该图像为标定模板在左右摄像机下同时拍摄的图像的行对准图像，左半部分为左摄像机图像，有半部分为有摄像机图像。 立体标定流程图如图4所示。 图4立体标定流程图 流程图中棋盘格角点求取效果图如图5所示： 图5 棋盘格焦点求取效果图 立体标定过程中棋盘格相对于左右相机的