面向遥科学实验的增强现实应用研究.pdfVIP

2010 年第二十三届全国空间探测学术交流会论文 效参数（摄像机内外参数、设备模型及现场环境），所以本系统主要的功能模块为： l)视频采集与存储：由摄像机对实验现场进行视频采集，并将采集到的数据输入 该系统，同时保存为录像文件。用户的视觉感知是通过显示器屏幕窗口的视频图像 获取的，这就要求该系统能够将采集到的视频图像显示在用户眼前，并与之后的虚 拟图像合成显示，使用户能更好地观察实验现场。 2)三维注册与虚拟模型绘制：系统中的增强信息是以三维模型的形式表达的， 根据摄像机的内外参数与模型细节创建虚拟物体，记录虚拟物体在真实环境中的坐 标信息，为接下来的虚实融合做准备。 图1 系统功能模块 3)视频融合显示：在显示实验现场图像时，虚拟物体要能够准确地叠加在视频 图像的预定位置上，与真实物体重合，所以需要根据已有的摄像机内外参数，也就 是虚拟物体在真实坐标空间的具体位置，将虚拟物体正确的映射到投影平面，并显 示在计算机显示器的正确位置上，从而实现虚拟与真实场景的融合显示，完成增强 过程。 4)科学数据可视化：根据我们获得的实验现场或者实验台的科学数据，将之以 适当的方式添加到视频中的相应位置去，例如尺寸，温度等。 5)人机交互：在应用中，用户是通过显示屏幕中的视频图像获得增强现实融合 效果的，在浏览的过程中，可以通过简单的控件操作控制视频录像的播放，如快进、 后退、暂停，以及场景的放大缩小，这个过程中需要虚拟物体与真实视频相配合， 是用户可以对空间科学实验进行方便的观察。 3. 功能模块的设计 OpenCV是由Intel公司资助的开源计算机视觉库。它由一系列C 函数和少量C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。在本系统中，OpenCV 主要负责真实环境图像的采集与显示、视频控制以及其它一些图像处理功能和矩阵 运算的实现。 OpenInventor 是一个3D 程序的开发平台,它提供一系列在OpenGL 函数库上层 开发的3D 开发库及可扩充的对象库，简化了图形编程, 同时又保留了OpenGL 固有 的强大3D 处理能力。OpenInventor 中节点是最基本的组成对象，由节点组成的树结 构称为场景图，场景图中定义了节点的次序，在场景节点出现的早晚对显示有影响。 虚拟环境与虚拟物体模型的建立以及虚拟场景图导出主要通过OpenInventor 来完 成。 2 2010 年第二十三届全国空间探测学术交流会论文 3.1 视频采集与存储 真实视频图像的获取采用OpenCV 来实现，OpenCV 开发包提供了读取各种类 型的图像文件、视频内容以及摄像机输入的功能。这些功能是 OpenCV 开发包中所 包含的HighGUI 工具集的一部分。HighGUI 模块提供了一种简单的方式来从摄像机 读入视频。创建一个指针CvCapture* capture ，调用函数cvCreateCameraCapture(…) 。 后面一个函数参数为摄像设备 ID 。当存在多个摄像设备时这个参数才起作用。默认 值为-1 ，代表“随机选择一个”，本系统仅有一个摄像设备，即默认选择它。 由这 个指针载入每一帧图像，然后读到帧缓存里显示输出。 存储时创建写入设备逐帧将视频流写入视频文件，可以通过函数 cvCreateVideoWriter()来实现。当输出设备创建之后，可以通过调用cvWriteFrame() 逐帧将视频流写入文件，写入结束后，调用 cvReleaseVideoWriter()来释放资源。 3.2 三维注册原理与虚拟模型绘制 增强现实系统需要知道摄像机相对于真实场景的位置和方向角，以及成像系统 (摄像机) 的内部参数(焦距和像元高宽比等) ，以便能够根据这些信息来确定所要添加 的虚拟物体在真实空间坐标中的映射位置，将虚拟物体正确的映射到投影平面，并 显示在显示器的正确位置，从而实现虚拟模型与真实场景的融合显示，这就是增强 现实系统中三维注册所要完成的任务，也叫虚实配准。三维注册实际上就是将计算 机生成的虚拟物体和真实环境中的景象“对齐”的过程。注册必须先确定虚拟物体 与观察者之间