基于结构光和双目视觉的三维重构.pptxVIP

会计学 1 基于结构光和双目视觉的三维重构 应用现状 第1页/共23页 应用现状 第2页/共23页 实现流程 第3页/共23页 关键技术点和难点 1 相机标定 2 立体匹配 3 双目测距 4 点云重构 除了双目测距 关键技术点 难点 第4页/共23页 双目测距原理 小孔成像模型在构建三维测量模型中起着决定性作用，可以把它理解为视觉测量技术大厦的根基。 第5页/共23页 双目测距原理 各坐标系关系示意图 第6页/共23页 三角法测量模型 第7页/共23页 相机标定 相机标定：主要是获得相机几何参数和光学参数（内部参数）以及相机相对于世界坐标系的空间位置、方向关系（外部参数）的过程。相机标定结果的精度直接影响着计算机视觉的精度 定义 分类 1 传统标定 2 基于主动视觉的标定 3 自标定 第8页/共23页 相机标定 图像坐标系与像素坐标系 图像坐标系与相机坐标系 相机坐标系与世界坐标系 第9页/共23页 相机标定 其中： 内部参数矩阵 ： K 外部参数矩阵：M1 第10页/共23页 相机标定 张正友法 张正友在 1998 年提出了一种基于棋盘格模板的相机标定方法成为相机标定研究的经典之作。这种方法由两部分组成，首先对相机的参数进行估计，再用优化函数进行迭代求精。 Tsai 标定算法 这种标定算法需要一个精确定制的3D 标定靶。操作过程是首先获取该标定靶块的图像，并提取出图像上的角点特征，然后根据角点坐标与其对应空间点的世界坐标计算出摄像机的内、外参数。 第11页/共23页 激光辅助标定法 第12页/共23页 立体匹配 定义 立体匹配就是在两幅图像的匹配基元之间建立对应关系的过程，它是双目体视中最关键、困难的一步。 方法 区域匹配、特征匹配和相位匹配 第13页/共23页 立体匹配 立体匹配求解本身是个病态问题，需要通过一些附加信息或约束条件才能得到近似解。立体匹配的约束主要包括搜索范围的寻找和相似度计算这两个方面。主要包括如下： 极线约束：极线约束主要利用了空间点的投影在对应两幅图像的极线上这一条件。 唯一性约束：一幅图像上的一点只能与另一幅图像上的一点对应，而不能与多点对应。 视差的连续性约束：除了遮挡区域和一些视差不连续的区域外，其他的区域视差的变化是平滑的,变化不大。 视差一致性约束：在左右视差图中，若左图像的某一点的视差和以此视差对应的右图像目标像素的视差相同,则满足视差一致性约束。 挑战性问题： 遮挡、弱纹理、深度不连续、光照影响、光学透射 第14页/共23页 立体匹配 第15页/共23页 立体匹配 第16页/共23页 点云重构 定义 把点云重构成三维立体图形 方法 三角剖分 贪婪三角剖分 Delaunay剖分 第17页/共23页 三角剖分 当得到被扫描物体的点云后，将进行三角剖分。三角剖分将点云组建成一个由许多三角形组成的网格。通过三角剖分建立起来的网格应该满足以下三个条件： 1) 除了端点，任意三角形的任意一条边不包含点云中的任何点。 2) 任意两条边若相交，只在公共端点相交。 3) 网格内的任意一个面都是三角面，且所有三角面的合集是点云集合的凸包。 第18页/共23页 贪婪三角剖分 它从一个随机的点开始，将越来越多的邻点包含进三角化网格，使网格逐渐增长。 在建网的过程中，每个点有可能被赋予这四种状态：FREE，FRINGE，BOUNDARY，COMPLETED。 FREE：未加入任何三角形。 FRINGE：已加入一些三角形,还有加入另一些三角形的可能性。 BOUNDARY：已位于三角化网格的边界，即已加入若干三角形，不能加入更多三角形,但未被这些三角形完全包围。 COMPLETED：已加入若干三角形，不能加入更多的三角形，并被这些三角形完全包围。 第19页/共23页 贪婪三角剖分 第20页/共23页 Delaunay三角剖分 Delaunay三角剖分的两个准则： 唯一性：任意三角形的外接圆内不包含任 何点且任意四点不共圆。 最大化最小角 第21页/共23页 Thank you! ありがとうございます 第22页/共23页