OpenCV学习笔记16双目测距与三维重建的OpenCV实现问题集锦一图像获取与单目定标.docVIP

OpenCV学习笔记（16）双目测距与三维重建的OpenCV实现问题集锦（一）图像获取与单目定标 分类： 机器视觉2010-10-24 08:0318005人阅读评论(26)收藏举报matlabtranslationmatriximage工具工作 双目测距的基本原理 如上图所示，双目测距主要是利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异（即视差 ）与目标点到成像平面的距离Z存在着反比例的关系：Z=fT/d。“@scyscyao ：在OpenCV中，f的量纲是像素点，T的量纲由定标板棋盘格的实际尺寸和用户输入值确定，一般是以毫米为单位（当然为了精度提高也可以设置为0.1毫米量级），d=xl-xr的量纲也是像素点。因此分子分母约去，Z的量纲与T相同。 ” 假设目标点在左视图中的坐标为（x,y），在左右视图上形成的视差为d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为（X,Y,Z），则存在上图所示的变换矩阵Q，使得 Q*[x y d 1]’ = [X Y Z W]’。 “@scyscyao ：为了精确地求得某个点在三维空间里的距离Z，我们需要获得的参数有焦距f、视差d、摄像头中心距Tx。如果还需要获得X坐标和Y坐标的话，那么还需要额外知道左右像平面的坐标系与立体坐标系中原点的偏移cx和cy。其中f, Tx, cx和cy可以通过立体标定获得初始值，并通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的cx, cy和f相同(也就是实现图2中左右视图完全平行对准的理想形式)。而立体匹配所做的工作，就是在之前的基础上，求取最后一个变量：视差d(这个d一般需要达到亚像素精度)。从而最终完成求一个点三维坐标所需要的准备工作。在清楚了上述原理之后，我们也就知道了，所有的这几步：标定、校准和匹配，都是围绕着如何更精确地获得 f, d, Tx, cx 和cy 而设计的 。 ” 一、图像的获取 1． 如何打开两个或多个摄像头？ 可以通过OpenCV的capture类函数或者结合DirectShow来实现双摄像头的捕获，具体可见我的读书笔记《OpenCV学习笔记（6）基于 VC+OpenCV+DirectShow 的多个摄像头同步工作 》。文中曾提及不能用cvCreateCameraCapture 同时读取两个摄像头，不过后来一位研友来信讨论说只要把摄像头指针的创建代码按照摄像头序号降序执行，就可以顺利打开多个摄像头 ，例如： [c-sharp] view plaincopyprint? CvCapture* capture2 = cvCreateCameraCapture( 1 ); CvCapture* capture1 = cvCreateCameraCapture( 0 ); 采用DirectShow的方式读入时： [c-sharp] view plaincopyprint? camera2.OpenCamera(1, false, 640,480); camera1.OpenCamera(0, false, 640,480); 这样就可以同时采集两个摄像头。我也验证过这种方法确实有效，而且还解决了我遇到的cvSetCaptureProperty调整帧画面大小速度过慢的问题。当摄像头的打开或创建代码按照摄像头序号从0开始以升序编写执行时，使用cvSetCaptureProperty就会出现第一个摄像头（序号为0）的显示窗口为灰色（即无图像）、且程序运行速度缓慢的现象。而改为降序编写执行后，则能正常、实时地显示各摄像头的画面。具体原因有待分析讨论。 2． 如何实现多个摄像头帧画面的同步抓取？ 在单摄像头情况下用 cvQueryFrame 即可抓取一帧画面，实际上这个函数是由两个routine组成的：cvGrabFrame和cvRetrieveFrame（详见Learning OpenCV第103页）。cvGrabFrame将摄像头帧画面即时复制到内部缓存中，然后通过cvRetrieveFrame把我们预定义的一个IplImage型空指针指向缓存内的帧数据。注意这时我们并没有真正把帧数据取出来，它还保存在OpenCV的内部缓存中，下一次读取操作就会被覆盖掉。所以一般我们要另外定义一个IplImage来复制所抓取的帧数据，然后对这个新IplImage进行操作。 由上面的解释也可以看出，cvGrabFrame的作用就是尽可能快的将摄像头画面数据复制到计算机缓存，这个功能就方便我们实现对多个摄像头的同步抓取，即首先用cvGrabFrame依次抓取各个CvCapture*，然后再用cvRetrieveFrame把帧数据取出来。例如： [c-sharp] view plaincopy