图象视频与图形融合.pdf

图象/视频与图形的融合1 鲍虎军，华炜，秦学英 浙江大学CADCG 国家重点实验室，浙江杭州（310027 ） E-mail：bao@ 摘 要：图像/视频与图形处理的融合体现了计算机视觉与计算机图形学这两个学科相互交 叉的发展趋势，也促动了下一代互动媒体技术的发展。本文从摄像机定标定位、基于图像/ 视频的建模、基于图像/视频的绘制以及基于视觉感知的人机交互等四个方面综述了在该领 域的研究现状、存在的问题以及发展趋势。 关键词：计算机图形、计算机视觉、建模、绘制、交互 中图分类号：TP391 1. 引言 计算机图形学和计算机视觉是与人类视觉感知密切相关的二个学科。计算机图形学主要 研究各类图形及其相关信息（几何、纹理、光照、运动等）的建模与绘制，通过人类视觉感 知，为人们认识和理解客观世界提供有效的手段。随着研究对象复杂程度的日益提高，现有 的图形处理技术在真实性、计算效率和交互的自然性等方面遇到了巨大的挑战。计算机视觉 则通过对人类视觉感知系统的模拟，对所获取的视觉信息进行处理、识别与理解，使得计算 机系统具有一定的视觉感知和理解能力。鉴于图像、视频等视觉信息易于直接从真实世界中 获取，而计算机视觉技术又能够帮助从中提取和构建符合人类视觉感知规律的计算模型，这 有效地弥补了基于理想数学物理模型的传统图形处理技术的缺陷，为实现更加真实和高效的 交互图形处理系统提供了新的研究方法和手段。 目前，计算机视觉与计算机图形学的相互交叉已逐渐渗透到科学研究和具体应用的方方 面面。计算机视觉在计算机图形学中的交叉应用主要体现在两个方面：一是为追求具有更高 真实感和计算效率的图形处理技术，出现了借助图像和视频所蕴涵的信息来构建和绘制复杂 场景的新技术[Szeliski 2001]。另一方面则利用计算机视觉中的运动跟踪、姿势识别等技术 赋予计算机系统主动感知用户交互行为的能力，以超越传统的WIMP 交互模式 [Freeman et al 1998] 。而计算机视觉技术则反过来借助一些先验模型和交互图形技术来降低视觉信息处 理过程的复杂性，以提高算法的稳定性和效率。相关研究成果已经在虚拟仿真、目标识别、 影视娱乐等领域得到了广泛的应用。特别是随着数字媒体产业的发展，以交互式电视、三维 电视[Lydia et al 2004]为代表的下一代互动式媒体更是催生着计算机视觉和计算机图形学的 交叉融合[Magnor Ramanathan 2003]。 在过去相当长时期内，计算机视觉与计算机图形学在总体上是相对独立地向前发展的。 由于它们的研究对象的互补性，这两门学科的发展开始相互影响，并逐渐由局部技术的相互 应用走向算法内部机理和研究方法论上的深层次交叉。国内外有关科研机构对计算机视觉的 基础理论和方法、交互图形建模和绘制技术等方面已展开了大量的研究，取得了很好的进展。 下面，我们将从四个方面分别对相关研究现状加以评述。 1 本课题得到教育部博士点基金资助（No.20030335083 ）。 - 1 - 2. 摄像机定标/定位的理论与方法 摄像机定标/定位问题是计算机视觉的经典研究问题，已有大量的研究，出现了许多优 秀的理论和算法。这里，我们仅仅讨论本项研究相关的有关工作。传统摄像机定标方法一般 基于已知场景信息，使用针孔成像模型来定标摄像机，经典的研究工作包括[Zhang1998, Zhang1995, Hartley Zisserman 2000]等方法。这些工作已为人们高度熟知，并被广泛使用， 但在使用过程中，该类方法存在许多缺陷，在有些情况下，无论应用非优化的、还是优化的 直接线性变换法，均难以计算得到理想的摄像机参数。特别当场景中不含有已知信息，且摄 像机的运动也未知时，只能采用自标定的方法，如基于Kruppa 方程的自定标方法、分层逐 步定标方法[Pollefeys Gool 1997]、可变内参数摄像机定标 方法[Dornaika Chung 2001] 等。目前的摄像机自标定方