2009CB320800-混合现实的理论和方法.docVIP

项目名称： 混合现实的理论和方法 鲍虎军 浙江大学 2009.1至2013.8 教育部 浙江省科技厅  本项目拟解决的关键科学问题为：虚拟与现实混合环境的一致性表示、呈现及其相互作用。具体地，可分解为以下三个基本问题：（1）虚拟环境与现实环境的一致性表示。为了向用户提供高可信的感知信息，虚拟环境和现实环境需要在几何、外观、物理、行为等方面保持高度的一致性，它包含以下三个层次：必须构建与现实对象相一致的信息模型，以便在信息空间中准确刻画现实对象；虚拟景物模型与现实世界的信息模型在信息空间中必须保持一致性；当虚拟景物叠加显示到现实环境中时，必须保持二者的时空一致性。 （2）符合人类感知的虚实混合环境的呈现。虚实混合环境是一个以用户为中心的计算环境，致力于使用户获得置身于虚实混合环境中的沉浸感和立体感，这就需要从软、硬件二个方面达到目的。主要涉及到以下三个问题：逼真的视觉感知信息的实时合成，符合用户感知的空间度量信息的产生，与虚实混合环境相适应的显示方法和装置。（3）虚拟环境与现实环境的相互作用。在虚实混合环境中，虚拟与现实世界的相互混合主要有二种形式，即增强现实形式--虚拟环境直接与现实世界的融合，增强虚拟形式--虚拟环境与现实世界的信息模型的融合。为使用户在虚实混合环境中产生逼真的体验，虚拟环境和现实环境或其信息模型之间的相互作用必须符合物理世界中的客观规律，而且还应考虑用户与虚实混合环境间的交互作用。围绕上述科学问题，虚实混合环境的一致性表示和构建 在虚实混合环境中，同时拥有虚拟和现实两类对象和环境的信息模型。为了向用户提供高可信度的感知信息，虚实两类对象的信息模型必须具有高度真实感，即虚拟对象模型所刻画的性状应当能够与客观规律和主观经验相符合，而现实对象模型则应能准确地刻画现实对象的性状。如何准确、一致地表示虚实对象和环境是实现虚实环境逼真混合的关键。因此，需重点研究： 现实环境与对象的信息采集与一致性重建。拟采用摄影测量和其它测量手段，从现实世界获取数据，建立所需的几何、光照、运动和行为等信息模型，真实地反映现实世界。主要研究内容包括：实物对象的几何、运动和动态光场等属性的采集、处理与重用；电磁场等不可见物理信息的获取和重建；现实环境视频的摄像机高精度自动标定和定位；基于视频的真实场景三维几何结构的交互或自动恢复；动态对象的自动提取、行为理解和合成；基于图象/视频的现实环境自适应重构方法等。为准确地反映现实世界的动态变化，将进一步研究上述重建算法的实时化问题。 虚拟对象的逼真表示与构建。综合考虑几何、运动及其物理行为（如力学、光学、电磁等）等各种属性，研究基于样例的、基于物理的、基于机器学习的虚拟对象建模、编辑加工方法，提高虚拟模型的逼真度。主要研究内容包括：虚拟对象表面与内部几何的逼真表达与高效构造；虚拟对象的材质属性（反射/透射）的逼真表示与高效构造；虚拟对象运动的逼真模拟方法；虚拟对象的物理性态的动态演化模型及其计算方法；虚拟对象材质的时空变化模型及其高效计算等。 增强虚拟型混合环境的呈现 在增强虚拟型混合环境中，虚拟与现实世界的混合是以其各自的信息模型相互混合的形式而存在的。要使用户感觉是真实的，不仅需要无缝逼真地表现虚实场景和对象，而且还要表现它们间的相互作用。因此，需重点研究： 符合人类生理、心理的感知信息合成。根据人类视觉感知的生理和心理特点，研究不同显示和交互环境下虚实混合环境的视觉感知信息的合成方法。主要研究内容包括：虚实混合环境的显示分辨率的自适应调整机制；用户在虚拟环境中的深度感知机制及其与现实距离感知的自动适配方法；满足选择性注意的视觉信息合成方法，虚实混合环境感知的可信性评价等。 虚实混合环境的一致性表现与相互作用。虚实混合环境中，虚拟环境和实际环境是分别构建的，必须建立它们之间的相互联系，才能实现二者之间的相互作用。主要研究内容包括：现实环境视频信息模型中的摄像机自动、实时跟踪和定位，以及虚实混合场景的几何实时配准；现实环境光照信息的采集与重构，以及虚拟物体与真实场景信息模型的光照和阴影的一致性处理；虚拟对象的几何和材质变化行为实时演化；虚实对象演化的时空采样一致性；虚实对象的物理性态的实时模拟及其相互作用的一致性等。 虚实混合环境的逼真表现。探索在保证实时性的条件下，最大程度地提高视觉信息合成的逼真度，使得虚实模型能够自然融合，以加强用户对环境的感知与理解。主要研究内容包括：复杂虚实对象的高真实感实时绘制；虚实信息模型特征的智能提取、映射和可视化模型；面向任务的信息增强和弱化方法；虚实混合环境下多维、多源信息的呈现及其交互可视分析等。 增强现实型混合环境的呈现 在增强现实型混合环境中，虚拟与现实世界的混合主要是以将虚拟对象直接叠加显示到现实世界的形式而存在的。因此，结