D感知与目标位姿计算.pptxVIP

Chapter 10 3D Sensing and Object Pose Computation?? ;举例;;;建立对应关系;2）图符匹配和相关约束 在一幅图像中寻找与另一幅图像特征相匹配的特征。典型特征有连接类型、线段或区域。 可以采用一致性标记寻找匹配。部件集合P是第一幅图像I1中的特征集合。标记集L是第二幅图像I2的特征集合。P上的空间关系RP要与L上的空间关系RL相同。;2）图符匹配和相关约束 存在问题： 1) 并非第一幅图像中所有特征都可以在第二幅图像中检测到. 2) 从第一幅图像特征到第二幅图像特征映射后，连接点的对应关???产生的是一个稀疏深度映射，不能完全表示三维信息. 解决方法： 1) 允许出现一定的误差，寻找一种最小误差映射，或利用连续松弛法得到近似解. 2) 在求得的稀疏深度映射点上进行线性插值运算，使稀疏深度映射变得稠密.;3)外极线约束 两图像面位于同一平面并且与基线平行。已知图像I1中的点P1=(x1,y1)，则图像I2中的对应点P2=(x2,y2)将与P1位于相同的扫描线上，也就是y1=y2。这对图像为标准图像对。;3)外极线约束 ;4）顺序约束 已知场景中两个点和它们在两幅图像中的投影点。 如果这两点位于场景中的连续表面上，那么在每幅图像中，它们以相同的顺序位于外极线上。 5）误差与场景覆盖 场景覆盖与计算深度误差间寻求平衡。 如果基线很短，确定图像点P1和P2的位置时误差就较小，但在计算3D点P的深度时误差就较大。 增大基线可以改进搜索精度，但随摄像机彼此远离，图像点之间的对应关系将丢失。 建议两台摄像机光轴间最好是45度角。 ;一般体视结构;为了进行立体视觉计算，需要已知下列条件： 要知道摄像机C1在工作区W中的位姿，以及摄像机的一些内部参数，如焦距。这些信息用摄像机矩阵(camera matrix)来表示，对每个图像点1P通过该矩阵确定3D空间中的一条光线。 要知道C2在工作区W中的位姿以及它的内部参数。 要找出3D点与两个2D图像点(wP,1P,2P)之间的对应关系。 要有公式来计算两条投影线wP1O和wP2O的交点wP。;基于多摄像机的3D点计算;问题：因为摄像机模型和图像点的近似误差，两台摄像机的投影线并没有在数学的3D空间相交于一点。 解决方案：计算这两条空间斜交投影线之间的最短距离，也就是计算它们公垂线段的长度。 如果公垂线比较短，就取公垂线的中点作为两条投影线的交点。如果公垂线比较长，就要判定在进行像点对应计算时出现了问题。;利用两空间斜交线与公垂线正交这一约束条件，可以得到2个含未知数a1和a2的线性方程： 利用消元法或者行列式法可以很容易解出a1和a2。 如果‖sV‖小于某个阈值，就认为两条直线相交于点[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]。;3D目标重建;视图配准;视图配准;表面重建;图片: 可以作为建模的灵感来源。;;部件一致性分割 [Xu et al. 2010];形变控制单元 [Zheng et al. 2011] 控制单元: 长方形和广义圆柱体 相互关系: 对称, 连接, etc.;;检索代表模型 ;; Query; Query;;轮廓对应;轮廓对应;轮廓对应;轮廓对应;轮廓对应;轮廓驱动的结构保持形变;轮廓对应;轮廓对应; ;单独控制对称;结果;?;原始数据 噪声点云数据 未分割 有遮挡;;;基元 长方体、圆柱体、辐射状构造 连通性 刚性 旋转 平移 附属 关系 位置信息;地平面和书桌 物体 单独聚类 部件 通过一致性分类 分割与其类似，后面还需修正 ;初始分配部件 vs. 基元 简单的对比高度，法矢量，大小 鲁棒的形变 低漏报 精细分配部件 vs. 模型 迭代的解决位置、形变和分割 低漏报;初始分配部件 vs. 基元节点 精细分配部件 vs. 模型 ;;50;51;丢失数据 遮挡, 材质, … 最初分割容易出错 杂乱的目标被合并为一个物体 视角选择影响物体分割，在某个视角下，物体成片状;大作业;;1、Genius only means hard-working all ones life. (Mendeleyer, Russian Chemist)? 天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:03 2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，