增强现实(第五章)详解.ppt

5.4 虚实融合 对虚拟的三维物体进行投影变换等三维注册操作后，其大小、朝向、位置等都与实际场景匹配。 直接将变换后的虚拟场景的影像叠加到实际场景的影像中，实现虚实融合，或者将三维的虚拟动画贴图渲染到真实世界的标识物上，实现增强现实的效果，都没有大的问题。 为了取得更好的效果，虚实融合模块除完成前景和虚景融合外，还要进行遮挡处理、边缘融合等工作。 虚实融合模块还要将光照、阴影、前景色彩增强等视觉效果根据环境的需要和真实世界的场景加入到系统中，使得增强现实系统中的场景更加逼真。 5.4 虚实融合 在系统中，为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实物体的遮挡关系，需要将深度检测模块的输出结果传入虚实结合子模快，虚实结合子模块根据真实场景中的物体与虚拟物体的遮挡关系进行虚拟场景与真实场景的无缝融合。 虚实融合模块处理虚拟物体与真实物体之间的遮挡关系的具体步骤如下: 5.4 虚实融合 如果物体在监控区域，将物体的深度信息和监控区域中虚拟物体的深度信息进行比较。 如果真实场景中物体的深度大于虚拟投影三维模型的深度信息，从固定摄像机的视角看，真实场景中的物体与虚拟物体的空间位置关系是真实场景的物体在后，虚拟物体在前，那么就直接将三维虚拟的模型投影在标记物上。 如果真实场景中物体的深度小于虚拟投影的三维模型的深度信息，真实场景的物体在前，虚拟物体在后，那么就将三维虚拟的模型投影在标记物上之后，将高斯抠图得到的真实物体的图像渲染到虚拟三维模型之上，显示真实物体与虚拟物体的遮挡关系。 5.4 虚实融合 由计算机视觉的相机标定技术可以知道，一幅图像中的一个点确定空间中一条直线与这个点相对应，为了在系统中求取图像上一点的深度信息，需要两幅图像或多幅图像。 计算一个点在多幅图像上深度信息的直线方程，然后联方程，用最小二乘法计算出图像点的深度信息。 5.4 虚实融合 深度检测模块的流程图 5.4 虚实融合 根据深度信息进行虚实融合的案例 周大福.mp4 5.4 虚实融合 抠像技术 Alpha通道的设置与视频效果 第五章 三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合 增强显示案例：中联重科增强现实.mp4 （1’28’’) 5.1 虚实融合原理 增强现实系统必须能够实时地检测出观测者(或摄像机)相对于真实场景的位置和方向角，以及成像系统(摄像机)的内部参数(焦距和成像屏幕大小等)。 根据这些信息实时确定所要添加的虚拟信息在投影系统中的大小、方向和映射位置。 在用户看来，无论从任何角度观察，都应该使虚拟物体与真实场景保持三维欧氏空间的几何一致性。这就是AR中的三维注册(Registration)所要完成的任务。 5.1 虚实融合原理 实现虚实融合的关键技术，是相机标定与三维注册技术，通过精准的相机标定与三维注册，使虚拟物体可以与真实世界进行无缝融合。 在真实世界中人为地设定世界坐标系的原点、X坐标、y坐标、Z坐标，并测量出多个标志点的三维坐标值。 对摄像机摄取的图像进行视觉识别，找到各标志点在图像显示坐标系中的二维坐标值。 通过各个标志点在世界坐标系中的三维坐标值和在显示坐标系中的二维坐标值，实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数。 识别出通过提取给定的一幅或多幅图像的特征点来计算摄像机在真实世界的相对位置和方向，根据这些信息实时确定系统中要添加的虚拟物体在真实环境中的正确位置。 使用基于计算机视觉的相机标定技术对标识进行识别，实现系统中的三维注册。 三维注册子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数和外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来。 相机的外部参数作为输出结果输入到虚实融合子模块，用DirectX或openGL中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。 将三维的虚拟动画模型渲染到特定的标识物上，实现增强现实的效果。 5.1 虚实融合原理 根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、在世界坐标系中的位置和方向角等外部参数设定虚拟相机。 通过虚拟相机对三维虚拟场景进行变换。 （1）将变换后的虚拟场景的影像叠加到实际场景的影像中，实现虚实融合。将虚实融合后的图像通过头盔或投影机显示出来，观察者看到的是虚实融合后的场景。 （2）将三维的虚拟动画贴图渲染到真实世界的标识物上，实现增强现实的效果。 如：“别克汽车十城市巡展潘多拉项目.MOV” 5