基于单目图像序列连接刚体三维运动分析.pdfVIP

基于单目图像序列的连接刚体三维运动分析1 张小云，刘允才 上海交通大学模式识别与图像处理研究所，上海 （200030 ） E-mail ：whomliu@ 摘 要：本文提出了一种由单目图像序列的点对应元估计连接刚体的三维结构和运动参数的 新方法。首先，连接刚体用一个运动链模型表示，并从两幅图像中相邻两个连杆的运动连接 关系估计出连接点的相对空间位置。其次，各个连杆的运动用螺旋和指数映射表示，包括主 连杆的自由运动和其他连杆的绕着连接点的旋转运动。最后，利用关于图像点对应元的运动 约束方程，求得连接刚体的运动参数。连接刚体的各个连杆的相互关联性被充分利用，降低 了问题的复杂度，提高了算法稳健性。 关键词：连接刚体，运动链，运动估计，指数映射 1 引言 从二维图像恢复物体的三维结构和运动参数是计算机视觉中的一个重要研究领域，其中 对刚体的运动估计经过几十年的研究已相对成熟。但是现实世界中还普遍存在着可以近似为 由多个刚性子块连接而成的连接刚体，包括人体、动物和机器人等，对它们的研究在生物力 学、娱乐动画、虚拟现实、人机交互和图像压缩等方面有重要的应用意义和前景。近年来， 连接运动特别是人体的运动分析和跟踪逐渐引起人们的研究兴趣[1][2]，但是研究还处于初 级阶段，方法和理论上都还不成熟和完善。 目前，有关连接结构和运动估计的一些研究是在对物体结构和运动类型做了特殊的假 设之下进行的。Webb 等[3]假设在短时间间隔中物体的旋转轴方向保持不变。Holt 等[4]假设 连接刚体做共面运动或连接杆的一端是固定的等条件。Pan 等[5]在连杆做共面运动的条件 下，利用运动过程中各个连接杆的长度保持不变的性质分析和解决连接运动。Sinclair 等[6] 则提出了“Euclidean hinge” 的概念，它实际上隐含着两个连接子块的旋转轴是平行的特殊条 件。还有一大部分连接刚体的结构和运动分析是以人体为具体研究对象的，并且大多是基于 模型的，从简单的杆状模型[7]、二维的轮廓模型[8]到复杂的三维圆锥体模型[9]。利用图像 特征如边缘、端点、侧面影像、轮廓或骨架等，把模型的投影图像与实际图像相比较，利用 相似度测量评估模型与实际物体的一致程度。Gavrila 等[10]利用搜索算法通过边缘特征使三 维模型的投影图与实际图像相符合。Deutscher 等[9]用含29 个自由度的17 个子块表示人体， 并利用退火颗粒滤波器搜索人体的这一高维配置空间。Hu 等[11]利用遗传算法根据侧面影 像估计二维连接体的姿态。Ning 等[12]利用 CONDENSATION 算法以及运动模型和运动约 束条件，研究基于连接体模型的人体跟踪问题。 在连接刚体的运动和结构分析以及基于模型的运动分析中，获取连接体的各个连接点 信息非常重要。连接点一方面提供了连接体的结构框架信息，同时可以简化后续的运动分析， 因为每个连杆的运动只需要用旋转角度表示。O’Brien[13]利用附加在人体上的电磁感应器， 先获取运动参数，然后利用运动参数估计出连接点的位置；Herda[14]利用标志点和 8 个红 外照相机获取人体的结构和运动参数。这些方法由于要使用特殊装置，费用较高，且使用不 方便。 本文对具有单自由度的旋转连接的连接刚体，在不做其他特殊的结构和运动限制、不 1本课题得到博士点基金“连接体模型人体运动分析” （20050248052 ）d 资助。 - 1 - 利用特殊装置的情况下，仅从单目图像序列的特征点对应元就恢复物体的连接点空间位置。 然后用螺旋和指数映射[18]表示各个连杆的运动，并求得连接体的运动参数。螺旋和指数映 射首先被Bregler[19]应用于人体运动分析，[19]假设人体的初始位姿和各个连接点的位置已 知，且是一种基于图像微分的方法，所以只适合于帧间小幅度运动的图像序列。本文利用点 特征对应元提供的运动约束方程求解运动参数，可处理图像间的大幅度运动。连接刚体的特 性，即各个连杆的相互关联性，被充分利用，从而提高了算法的有效