增强现实技术(第二章)论述.ppt

第二章 基于视觉的增强现实系统框架 2.1 系统框架 2.2 系统的模块介绍 2.3 图像采集与处理模块 2.4 三维模型绘制模块 2.5 标识识别模块 2.6 三维注册模块 2.7 深度检测模块 2.8 虚实融合模块 2.9 动作交互模块 2.1 系统框架 2.2 系统的模块介绍 系统由9个主要的子模块组成： 图像采集子模块 数字图像处理子模块 注册定位子模块 标识识别子模块， 深度检测子模块 图形渲染子模块 用户交互子模块 虚实融合子模块 多媒体控制子模块 2.2 系统的模块介绍 图像采集子模块从图像输入设备中采集视频流，从视频流中获取视频图像。 数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常重要的基础数据。它的具体功能是通过图像分割，边缘检测等图像处理方法对采集的图像进行处理，从工作环境背景中识别出预先在环境中设置的用于定位的标志。 标识识别子模块根据模式匹配算法，使系统从摄像机的视频图像中正确的识别出预先设计好的标记物，同时给出标记物的ID号码，作为系统中图形显示子模块输入参数的一部分，以使得图形显示子模块将预先设计好的三维模型正确的显示在特定的位置上。 2.2 系统的模块介绍 注册定标子模块以图像检测模块的输出结果为数据的输入，通过相机标定内部参数的算法和相机标定的外部参数的算法，将程序中所用到标记的三维位置和姿态计算出来，最后相机的外部参数作为输出结果输入到虚实结合子模块，用openGL等软件中的虚拟相机模拟真实世界中的相机，产生良好的虚实环境无缝融合的场景。 深度检测子模块检测特定空间点的深度信息。为了判断系统中渲染的虚拟物体与真实环境中物体的遮挡关系，系统中需要计算虚拟物体与真实场景中物体的深度信息，通过比较它们的深度信息，确定虚拟物体与真实场景中物体的遮挡关系，实现系统中真实场景与虚拟物体遮挡一致性，同时通过检测真实场景中用户的手势等交互动作，完成用户与场景中虚拟物体的自然交互。 2.2 系统的模块介绍 图形绘制子模块实现对虚拟三维模型实时动态的渲染。 虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等工作。额外的视觉效果，如光照、前景色彩增加等也在模块中实现。为了达到逼真的虚实融合的效果，正确显示虚拟物体和真实物体的遮挡关系，需要将深度检测模块的输出结果作为输入传入虚实结合子模快，虚实结合子模块根据真实场景中的物体与虚拟物体的遮挡关系进行虚拟场景与真实场景的无缝融合。 用户交互子模块为用户提供两种与虚拟三维模型进行直接交互的方式。 多媒体控制模块模拟系统环境中产生的各种各样的声音元素，同时把视频文件播放出来。 2.3 图像采集与处理模块 图像采集模块主要功能是从图像输入设备中采集视频流，从视频流中获取视频图像。 增强现实系统图像的采集应该满足实时性、精确性的要求。目前性能较高的CCD摄像头都可以满足系统对图像精度和获取速度的要求。 微软DirectX开发包中的Direetshow模块，是微软公司发布的在Windows环境下运行的一种流媒体处理体系，是DirectX的组成部分之一。 Directshow支持很多种多媒体格式，包括常用的ASF，MPEG，AVI，MP3，WAV等。当系统安装有硬件加速设备的时候，Directshow可以自动检测并使用硬件加速设备。同样，它也支持没有硬件加速设备的系统。 2.3 图像采集与处理模块 2.3 图像采集与处理模块 在基于计算机视觉的系统工程中，数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常重要的基础数据。 它的具体功能是通过图像分割、边缘检测等图像处理方法对采集的图像进行处理，从工作环境背景中识别出预先在环境中设置的用于定位的标志。 数字图像处理子模块的性能优劣直接影响系统在三维注册阶段的实时性和虚拟结合模块中无缝融合的精确性。 数字图像处理子模块的三个主要过程是图像预处理与图像分割，边缘检测和提取系统感兴趣的特征点。 2.3 图像采集与处理模块 具体实现在第三章详细介绍 2.4 三维模型绘制模块 可以用DirectX、游戏引擎中的绘制三维模型语句和渲染语句来绘制三维模型，但所绘制的模型相对简单。 用3Ds MAX、Maya来绘制三维模型，然后导出到增强现实程序开发环境。 三维模型的运动控制由增强现实程序开发环境中的程序实现，但人物运动序列等看可以在3Ds MAX、Maya 中建好后导出。 模型的复制可以用程序实现。 具体绘制方法在第四章中详细介绍 2.5 标识识别模块 在增强现实系统中，经过图像分割、边缘检测和轮廓提取之后，我们就可以把以上步骤的结果用于标识识别子模块 根据模式匹配算