校准非重叠序列描述.docVIP

校准非重叠序列 计算机科学和应用数学,魏茨曼科学研究所,以色列雷霍沃特 76100 这种方法不仅可以用于调整非重叠序列　　其他情况下标准图像对齐技术固有的困难我们将演示这种方法三个现实问题的应用多传感器融合的多传感器图像。 (如动态场景变化,或诱导图像运动)Caspi and Irani (2000) and Stein (1998)说明了这种方法两个序列的适用性基于共同的动态场景信息两个摄像头的视场(的视野)这个时间相关行为用于恢复两个序列之间的空间和时间转换。　不像仔细校准stereo-rigs(Slama 1980年),我们的方法不需要任何内部或外部相机校准,也任何复杂的硬件。Demirdijian(2000)Horaud and Csurka (1998) and Zisserman et al. (1995)等人提出的用于stereo-rigs的自动校准类似的想法是用于机器人手眼标定研究标准图像校准技术固有困难图像融合的多传感器校准这需要准确定位图像传感器不同的传感方式这些图片在外表由于不同传感器属性方面有显著的差异不同的图像特征突出在不同的图像分辨率两个摄像机的内部参数不同未知,但固定的序列外部参数相关的两个摄像头(即, 相对三维取向)也不得而知,但固定是由两个摄像机记录的两个序列。当时间同步（如，时间戳）不可用，这时和不一定是对应的帧。我们的目标是恢复在时间和空间排列两个序列的转换。注意“alignment”这个词在这里比通常有一个更广泛的意义,序列可能不会在空间重叠,也可能没有及时同步。在这里我们将“alignment”认为是在其他序列的坐标系中显示另一个序列，并且以真确的时间变化，就像通过其他相机得到的一样。当两个摄像头有相同的中心投影(只是他们的3 d取向和内部校准参数不同),然后一个简单固定的单应性H（2D摄影变换）描述了暂时在两个序列对应的双帧之间的时间转变(Hartley and Zisserman, 2000)。 如果在时间对应的帧（例如Ii和Ii`）之间有足够的共同特征（例如，P及P`）,然后很容易恢复内部相机的单应性H，每一对对应相点提供线性约束在。事实上，这是大多数图像校准技术的工作方式。(Hartley and Zisserman, 2000)。然后，这并非如此。这两个序列不具有共同特征，因为两个序列之间没有空间重叠。相反, 　　单应性H从诱导每个序列中换在恢复过来。 和各自成为S和S`中帧对帧变化的序列。Ti是Ii到Ii+1转化的相关框架。这些转换可以使2D参数转换（单应性或仿射变换）或者3D变换/关系（例如，基本矩阵）。下一个，我们展示如何恢复空间的单应性H和在两个视频序列之间的时间转变，序列直接转换和上述问题如图二所示。 恢复序列之间的时空校准 让我们先假定时间同步已知。这些信息通常是可用的（如，从时间戳在两个序列编码）第四节显示了当信息不可用时，我们如何恢复两个序列之间的时间转换。因此，没有普遍性，它是假设Ii和Ii`是分别序列S和S`时间对应帧。两个研究案例:(1)当场景是一个平面或者远离相机。我们将这些场景称为“2D场景”。在这种情况下，帧对帧转化可以通过单应性建模模拟（3.1节）（2）非平面场景的情况。我们将这些场景称为“3D场景”，在这种情况下，帧对帧关系可以通过基本建模矩阵模拟（3.2节） 3.1平面或远区的（2D）场景 当场景是个平面或远离相机的位置，或者当相联合的两个摄像头的3D距离相对于场景的距离可以忽略不计，然后，在每一个序列（例如和）中引起的图像运动可以通过2D参数转换描述。因此Ti表示帧Ii和Ii`之间的单应性，由3*3的非奇异矩阵表示。下一步我们展示时间相应的转换Ti和Ti`是被相同固定的内部相机单应性H联系起来的（这与帧`有关） 让P是一个平面场景（或远区）中的3D点，在帧`中用P和Pi`分别表示他的图像坐标（P点不需要在两个帧中可见，例如，P点不需要再相机的视场中）让Pi和Pi+1在帧Ii和Ii`中是它们各自的图像坐标。然后，和因为视频序列的坐标S和S`和一个固定单应性H相关，然后，和例如 每个Pi理论上可以有不同的标量与等式（1）关联。然而，它很容易表示，因为等式（1）适用于所有的点Pi，因此所有这些标量是平等的，并且因此 因为H是非奇异，所以我们可以写或者 这儿Si（从属帧 ）是个关键因素。方程（3）对所有帧成立，例如，对于任何一对Ti和Ti`相应的转换（i=1…n）存在一个标量Si如 。它表明在两个矩阵Ti和Ti`（比例因子）之间有一个相似关系（或“共轭性的关系”）。类似的观察是为了手眼校准的情况下制定的(e.g., Tsai and Lenz(1989) and Horaud and Dornaika (1995))，和为了立体声装