20基于pc平台的ar系统技术_14讲49.ppt

基于PC平台的AR系统关键技术研究和基于VR培训系统开发 基于PC平台的AR系统关键技术研究 基于VR培训系统开发 基于PC平台的AR系统关键技术研究 系统总体结构 实时跟踪系统 多通道交互技术 场景融合技术 AR开发平台Illusion 虚拟物体制作和头盔显示 虚拟魔幻屋的设计与实现 系统总体结构 实时跟踪系统 在AR系统中，实现虚拟信息和真实信息无缝集成要解决系统的静态和动态错误 ： 解决静态错误所采用的技术方案 解决动态错误所采用的技术方案 静态错误解决方案 基于计算机视觉理论的实时跟踪技术和跟踪系统的实现 实时的、较好精度和鲁棒的动态定位计算模块 简便的、自动的、高精度和鲁棒的摄像头定标技术 多目视觉跟踪系统的设计原则和安装措施 动态错误解决方案 人工标志的设计 针对标志的图像跟踪算法 基于并行机制的实时图像处理技术 基于并行机制的实时图像绘制技术 基于PC平台的实时、高性能的图形数据显示管理系统 两节点视觉跟踪系统 跟踪标志的设计 所有的图案点共面; 每个圆点的半径相同； 相邻圆点的圆心上下左右的距离相等； 其中边缘两组点的圆心分别共线，并且这两条线互相垂直； 点的颜色为白色，背底为黑色; 人工特征点提取和匹配算法 人工标志的空间姿态重建 多目视觉系统 由于两个摄像头的有效跟踪范围有限，可采用多摄像头阵列的多目跟踪技术和姿态重建，本发明中采用了呈平面网格分布的多目立体视觉结构，每个摄像头的光轴垂直水平面，光心均匀的分布在网格点上，图中阴影部分为有效跟踪范围。在建立该多目视觉系统时，H为摄像头光心的安装高度，h为稳定的跟踪区域的高度，一般情况下，摄像头的两个方向的视角不同，设βα；为保证各个方向稳定的跟踪区域的高度h相等，网格的间距d1、d2应满足一定的约束；如下式所示： 在实际安装多目立体视觉系统时，考虑到摄像头的参数和方向不可能完全一致，为保证稳定的跟踪区域的高度h,加入修正因子△h,可按下面两式的计算d1、d2。 多目视觉系统构架 多通道交互技术 视觉通道 AR系统通过视觉通道产生以用户本人为视点的包括各种景物和运动目标的场景，人通过头盔显示器(HMD)等立体显示设备进行观察。 听觉通道 在AR系统中加入三维虚拟声音，可以增强用户在虚拟环境中的沉浸感和交互性。项目中采用Direct Sound技术完成了背景音乐、音效的三维声音定位。 力反馈 在本项目AR系统中，由引入力反馈，通过力学反馈操纵杆，让用户对增强现实环境有了一种“看得见摸得着”的感觉。 用户的输入 零训练的语音识别系统 　　目前环绕语言技术的另一个领域就是如何把现有的语音识别技术应用到各个领域，让增强现实环境理解人的语言，可以提高人机交互的自然性。 本项目中采用Spark SDK开发工具包，无须进行语音训练，即可识别定义好的语音命令，并与Internet控制技术相结合，实现了增强现实环境的交互。系统的结构如下图所示： 场景融合技术 坐标转换 真实场景视频采集 真实摄像头参数求解 摄像头标定和校正 虚拟摄像头校正 虚实融合 坐标转换 真实场景视频采集 我们使用DirectShow构架的软件模块，通过视频采集卡采集外部视频信号。这个软件模块的滤镜图如下： 真实摄像头参数求解方法 摄像头模型 标定算法 畸变校正算法 焦距、视角的计算 AR开发平台Illusion 　　AR开发平台Illusion的任务是完成AR项目所需要的实时图形显示和交互功能。AR项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示，融合后场景的内容能够通过各种已知或者未知的方式进行交互，支持特效的扩展，支持动画，支持故事线等。 AR开发平台Illusion具有以下特征： 管理扩展模块的能力 采用OpenInventor的显示机能 支持视频融合 分层式软件结构： 采用核心层、扩展层和应用层三层结构，从而可实现灵活的模块化管理、开放的扩展体系 AR开发平台Illusion模块化结构 系统核心主要由DM,FM,IM三大模块组成 ； AR核心系统功能框图如下： 模块划分 Studio （用于构造基础模块） iCom提供基于DirectPlay的通讯功能； iCore提供基础的模块和数据管理功能； iDeform提供变形计算，用于支持顶点动画； Illusion提供应用程序载体。 Plugin （用于构造扩展模块 ） Animation提供具体的动画实现 Camera模块提供Camera控制功能