第6章 摄像机未标定的P5P问题.docVIP

第九章 摄像机未标定的P5P问题 所谓PNP问题是指通过控制点和它们的图像点求解摄像机的方位问题，也称为透视N点问题 (Perspective N Point)或N点定位问题，是计算机视觉、摄影测量学乃至数学领域的一个重要研究课题，其研究成果可直接应用于机器人定位、导航等。 自从PNP问题首次于1981年提出后[1]，由于其在物体定位方面的重要应用价值，引起了人们的广泛重视，已有很多相关的文章问世[2-14]。在传统的研究方法中，均假定摄像机的内参数是已知的且在运动过程中是不变的。为了获取高质量的图像，目前数字摄像机都具有自动变焦的功能，也就是说机器人在运动过程中摄像机内参数可能经常发生变化。因此，要求摄像机内参数是已知的而且在运动过程中保持不变，已很难满足实际应用的要求。本章针对五参数针孔摄像机模型，主要讨论摄像机在运动（运动参数未知）过程中其内参数是未知的且可以发生变化时，如何通过5个控制点以及它们的图像点，来求解所对应的内参数、方位以及运动参数。证明了下述结论：已知5个控制点在世界坐标系中的坐标，以及它们在摄像机作一般刚体运动前、后两幅图像中的图像坐标，当5个控制点中任意4个点均不共面且摄像机运动前、后的两光心的连线不通过任一个控制点时，则可线性地确定摄像机关于世界坐标系的方位、运动前、后所对应的内参数以及运动参数。本章的研究成果在机器人视觉中具有一定的理论意义和应用价值。 9.1 PNP问题概述 9.1.1 PNP问题的定义 PNP问题的定义是：已知n个控制点在世界坐标系中的坐标与对应的图像点在像平面中的坐标，求摄像机的内参数矩阵以及摄像机坐标系关于世界坐标系的方向与位置，如图6-1所示。其中R为旋转矩阵，表示摄像机的方向；t是平移向量，表示摄像机的位置。 （1）当摄像机内参数矩阵是已知的，则上述问题是经典的PNP问题。 （2）摄像机内参数矩阵是未知的，上述问题称为摄像机未标定的PNP问题。 图9-1 PNP问题示意图 9.1.2 已有结论 目前，对于摄像机内参数已知且在运动过程中保持不变的P3P问题、P4P问题和P5P问题有如下结论： P3P问题最多有4个解且解的上限可以达到； P4P问题当4个控制点共面时，问题有唯一解, 当4个控制点不共面时，问题最多可能有4个解且解的上限可以达到； P5P问题至多有两个解且解的上限可以达到。 对于摄像机内参数未知且在运动过程中是变化的PNP问题，相关的研究报导还很少[2][3]。在许多实际问题中（如基于主动视觉系统的任务），摄像机内参数需要经常被调节而发生变化，因此不能假定摄像机内参数已知且在运动过程中是不变的。这样，研究未标定的PNP问题就具有十分重要的意义。 如果摄像机使用五参数模型，对于未标定的P3P、P4P问题，其约束方程的个数均少于待求未知参数的个数，所以未标定的P3P、P4P问题总是有无穷多解。 对于摄像机为四参数模型的未标定P5P问题，文献[2]给出了下述结果：当5个控制点中任意4个不共面，或者存在4个共面的控制点但任意三个图像点不共线时，未标定的P5P问题的解仅有两种可能：（1）至多有4个解；（2）有无穷多解。无穷多解的情形是可以发生的，但极其少见。该文同时给出了至多有4个解和有无穷多解的代数条件，以及求解未标定P5P问题的具体算法。 9.1.3 本章所研究的问题 不论是经典的PNP问题还是未标定的PNP问题，大都是使用单幅图像。由于机器人在运动过程中通常可以获得控制点的多幅图像，我们可以通过两幅图像来求解PNP问题吗？这正是本章所要研究的问题。确切地说本章讨论下述问题： 假定摄像机作一般刚体运动，运动参数未知，且在运动过程中内参数可以发生变化。已知5个控制点在世界坐标系中的坐标，以及它们在运动前、后两幅图像中的图像坐标，求摄像机运动前、后关于世界坐标系的方位，运动前、后所对应的内参数以及运动参数。 本章假定摄像机模型为针孔五参数模型，即摄像机内参数矩阵为： 其中分别称为图像平面u、v轴的尺度因子，为主点坐标，s表示摄像机的畸变因子。 我们先分析一下问题求解的可能性。两个内参数矩阵有10个独立的参数、两个旋转矩阵有6个独立的参数、两个平移向量有6个独立的参数，一共有22个参数需要待定。每个控制点可提供4个二次约束方程，一共有20个二次约束方程。方程的个数比待定参数的个数少两个，如果运动前、后的场景图像中不能提供其它信息的话，该问题总有无穷多解，是不可解的。那么，图像中提供怎么样的信息就可以变为可解的问题呢？通过研究我们发现，如果两幅图像中包含有特征点或特征线（当然它们的空间几何信息是未知的）等信息，该问题就成为一个可解的问题。更准确地说，如果运动前、后两幅图像间的基本矩阵是已知的，则该问题是可解的，这是因为基本矩阵可提供8个约束方程，一共可得到28个非线性约束方