立体视觉再次整理学习.docx

双目测距的基本原理 如上图所示，双目测距主要是利用了目标点在左右两幅视图上成像的横坐标直接存在的差异（即视差）与目标点到成像平面的距离Z存在着反比例的关系： 。 其中： 焦距 视差 摄像头中心距 左像平面的坐标系与立体坐标系中原点的偏移 右像平面的坐标系与立体坐标系中原点的偏移 其中 ，，和可以通过立体标定获得初始值，并通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的，和形同。而立体匹配所做的工作，就是在之前的基础上，求取视差（这个一般需要达到亚像素精度）。 假设目标点在左视图中的坐标为（x,y），在左右视图上形成的视差为d，目标点在以左摄像头为原点的世界坐标系中的坐标为（X,Y,Z），则存在上图所示的变换矩阵Q，使得。 图像的获取 摄像头定标 摄像头定标一般都需要一个放在摄像头前的特制的标定参照物（棋盘纸），摄像头获取该物体的图像，并由此计算摄像头的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像头的内外参数。 如上图所示，摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数 ， ， 确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数 ， 确定。单个摄像头的定标主要是计算出摄像头的内参（焦距和成像原点，、五个畸变参数（一般只需要计算出，，，，对于鱼眼镜头等径向畸变特别大的才需要计算））以及外参（标定物的世界坐标）。? OpenCV?中使用的求解焦距和成像原点的算法是基于张正友的方法，而求解畸变参数是基于?Brown?的方法。 1.图像坐标系、摄像头坐标系和世界坐标系的关系 摄像头成像几何关系，其中点称为摄像头（透镜）的光心，轴和轴与图像的X轴和Y轴平行，轴为摄像头的光轴，它与图像平面垂直。光轴与图像平面的交点 ，即为图像坐标系的原点。由点与、、?轴组成的坐标系称为摄像头坐标系，的距离为摄像头焦距，用表示。 图像坐标系是一个二维平面，又称为像平面，实际上就是摄像头的CCD传感器的表面。每个CCD传感器都有一定的尺寸，也有一定的分辨率，这个就确定了毫米与像素点之间的转换关系。举个例子，CCD的尺寸是 ，帧画面的分辨率设置为 ，那么毫米与像素点之间的转换关系就是 。设CCD传感器每个像素点的物理大小为，相应地，就有 。 其中，像素点的大小为，单位为毫米。 其中，为摄像机焦距，为摄像机坐标系的偏斜度（即两坐标轴不完全垂直，镜头坐标和CCD是否垂直）。需要说明的是，一般情况下，很接近，所以在要求不是很严格的情况下就直接将设为。可能引起误差的情况是：当对一幅照片进行拍摄的时候，由于摄影变换使得照片的图像坐标系在重新成像后不是了。此时，若忽略这个参数，将产生很大的定标误差。 由于矩阵A包含了摄像机全部的6个内参数 ，所以 称A为摄像机内参数矩阵。这些参数可能会随着温度、湿度、气压等环境因素的变化而改变，所以为了保证定标的精度，有必要对各内参数进行标定。 其中， 为旋转矩阵， 为平移向量， 摄像头矩阵（内参）的目的是把图像的点从图像坐标转换成实际物理的三维坐标。 其中 ， ， 2.进行摄像头定标时，棋盘方格的实际大小 square_size （默认为 1.0f ）的设置对定标参数的影响。 在标定时，需要指定一个棋盘方格的长度，这个长度(一般以毫米为单位，如果需要更精确可以设为0.1毫米量级)与实际长度相同，标?定得出的结果才能用于实际距离测量。一般如果尺寸设定准确的话，通过立体标定得出的Translation向量的第一个分量的绝对值就是左右摄像头的中心距。 3.OpenCV中用cvCalibrateCamera2 进行相机标定的精度差，标定结果不稳定原因。 原因一：可能是在标定的时候标定板所在平面与成像平面(image plane)之间的夹角太小，张正友论文里的仿真数据(有噪声的数据)说明当两者夹角太小误差会很大，从张正友的论文里给出的5幅图中，其中标定平面与成像平面的夹角分别为：?8.8947、 11.2325 、24.4875、 10.8535、 9.5829（单位：度）。而且张正友的论文中也提到两幅标定板之间的位置平行放置的话，相当于一幅。因此在实际标定中平行放置的情况最好避免。 原因二：标定时拍摄的图片太少，虽然张正友的论文里只用了5幅图片，但是建议10来幅左右还是必要的，因为实际中可能标定板用A4的纸打印出来贴在一块板上的，标定板上的世界坐标精度就不是特别高，多拍摄几幅图像能减少这方面带来的误差，而且多个角度拍摄也可能解决了问题一（标定板和成像平面夹角小