增强现实技术37.pptxVIP

第五章三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合增强显示案例：中联重科增强现实.mp4中联重科增强现实中联重科增强现实.mp4.mp4 （1’28’’) 5.1 虚实融合原理5.1 虚实融合原理增强现实系统必须能够实时地检测出观测者(或摄像机)相对于真实场景的位置和方向角，以及成像系统(摄像机)的内部参数(焦距和成像屏幕大小等)。根据这些信息实时确定所要添加的虚拟信息在投影系统中的大小、方向和映射位置。在用户看来，无论从任何角度观察，都应该使虚拟物体与真实场景保持三维欧氏空间的几何一致性。这就是AR中的三维注册(Registration)所要完成的任务。5.1 虚实融合原理实现虚实融合的关键技术，是相机标定与三维注册技术，通过精准的相机标定与三维注册，使虚拟物体可以与真实世界进行无缝融合。在真实世界中人为地设定世界坐标系的原点、X坐标、y坐标、Z坐标，并测量出多个标志点的三维坐标值。对摄像机摄取的图像进行视觉识别，找到各标志点在图像显示坐标系中的二维坐标值。通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值，实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数。识别出通过提取给定的一幅或多幅图像的特征点来计算摄像机在真实世界的相对位置和方向，根据这些信息实时确定系统中要添加的虚拟物体在真实环境中的正确位置。使用基于计算机视觉的相机标定技术对标识进行识别，实现系统中的三维注册。三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数和外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来。相机的外部参数作为输出结果输入到虚实融合子模块，用DirectX或openGL中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。将三维的虚拟动画模型渲染到特定的标识物上，实现增强现实的效果。5.1 虚实融合原理根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。通过虚拟相机对三维虚拟场景进行变换。（1）将变换后的虚拟场景的影像叠加到实际场景的影像中，实现虚实融合。将虚实融合后的图像通过头盔或投影机显示出来，观察者看到的是虚实融合后的场景。（2）将三维的虚拟动画贴图渲染到真实世界的标识物上，实现增强现实的效果。 如：“别克汽车十城市巡展潘多拉项目.MOV别克汽车十城市巡展潘多拉项目别克汽车十城市巡展潘多拉项目.MOV.MOV” 第五章三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合5.2 相机标定技术通过相机标定技术实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数。相机标定技术与四个坐标系统有关，分别是世界坐标系，成像平面坐标系，相机坐标系和图像显示坐标系。四个坐标系的关系世界坐标系： 选择一个基准坐标系来描述摄像机安放在现实世界的位置，并用它描述世界环境中任何物体的位置，由基准观测原点和X轴、Y轴、Z轴组成。成像平面坐标系：相机的焦点为坐标系的原点o 1，成像平面的中轴为x 1 、y 1轴。相机坐标系： o点是摄像机(camera)的光心，x轴和y轴与成像坐标系x 1 、y 1轴平行，z轴为摄像机的光轴，与成像平面垂直。由o点、x、y、z轴组成的直角坐标系称为摄像机坐标系。图像显示坐标系： 显示在计算机屏幕上的图像坐标u、v，左上角为坐标原点。 u、v分别与x 1 、y 1轴平行。四个坐标系的关系世界坐标系与摄像机坐标系的关系 x=r11X+r12Y+r13Z+t1R=t= y=r21X+r22Y+r23Z+t2 z=r31X+r32Y+r33Z+t1R为旋转矩阵，表示两个坐标系各坐标轴之间旋转向量，t是平移向量，也是世界坐标系原点在相机坐标系中的坐标值成像平面坐标系与摄像机坐标系的关系三角形OO1P1和OO2P相似： f/z=O1P1/O2P2=x1/x=y1/y 上式用齐次方程表示：成像平面坐标系与图像显示坐标系的关系O1为成像平面坐标原点，是摄像机光轴与图像平面的交点dx和dy表示一个像素在x1轴与y1轴方向上的大小。u= v=上式用齐次方程表示：综合以上三个关系式，得sx=1/dx sx 为水平方向上的图像尺度因子sy=1/dy sy为垂直方向上的图像尺度因子四个坐标系的关系P称为投影矩阵，含有五个未知数，反映相机的内部参数： f，即相机的焦距，单位是毫米， Sx即水平方向上的图像尺度因子，单位是像素/毫米 Sy即垂直方向上的图像尺度因子，单位是像素/毫米 (u。，v。)表示图像屏幕中心点像素所处的行数