视频场景的重建与增强处理.DOC

附件2 论文中英文摘要格式 作者姓名：章国锋 论文题目：视频场景的重建与增强处理 作者简介：章国锋，男，1981年11月出生，2003年9月师从于浙江大学鲍虎军教授，于2009年6月获博士学位。 中 文 摘 要 随着信息获取和处理技术的快速发展，如何利用计算机技术高效逼真地表达虚拟和真实的世界，实现真实世界与虚拟世界的高度互动和融合，已经成为一个非常重要的研究课题。处理对象复杂程度的日益提高，使得采用正向三维建模并进行绘制的方式在真实性、计算效率和交互的自然性等方面遇到了巨大的挑战。鉴于图像、视频等视觉信息易于直接从真实世界中获取，计算机视觉技术又能够帮助从中提取和构建符合人类视觉感知规律的几何和光照等信息，这有效弥补了传统图形处理技术的缺陷。然而，实拍的图像/视频序列的缺陷在于仅部分采样了真实世界在图像平面上的投影，并不直观地反映实际场景的三维结构，导致计算机难以准确自动地理解实际复杂场景，这严重阻碍了图像/视频信息的深层次应用。因此，如何对图像/视频场景进行几何重建与运动恢复就成了解决问题的关键，这也正是三维视觉的核心问题。 基于上述研究背景，本学位论文深入研究了计算机视觉中的视频场景的三维几何重建与运动恢复问题，充分利用视频序列中信息的连贯性和冗余性，借助视频场景的关键帧表达和多帧信息统计互补的创新思路，提出了一个高效鲁棒的全局优化计算框架，有效解决了摄像机参数、深度和光流等信息的高精度恢复以及视频场景的层次分割等难题，为大规模城市三维建模、自主视觉导航、视频场景的理解与重用以及虚实交互融合等重要应用奠定了基础。本文的工作主要包括以下四个方面： 基于视频的摄像机自动跟踪定位 摄像机的自动跟踪定位，是计算机视觉的基本问题，也是其他诸多视觉问题的基础，在城市设计与规划、军事训练与演习、影视娱乐等领域有着广泛的应用。然而现有的方法在处理规模、计算效率和稳定性等方面都存在不同程度的瓶颈，这严重阻碍了其在实际问题上的应用。从图像/视频序列中恢复出摄像机的运动参数，往往采用运动推断结构技术（Structure from Motion，简称SFM），整个过程涉及到特征点匹配跟踪、运动和结构初始化、自定标以及集束调整等。前人的方法在初始化运动和结构，以及如何利用自定标技术将其及时从射影空间转换到度量空间上存在不足，这极大地影响了重建的稳定性。基于关键帧简化表达与多帧求解优势互补的思路，我们提出了一个高效鲁棒的基于视频序列的摄像机自动跟踪技术，采用基于关键帧的求解框架，并通过优化关键帧求解次序、最佳自定标时机选择以及集束调整局部化等策略，极大地提高了焦距变化的长序列的求解稳定性和计算效率。 摄像机参数的准确恢复还很依赖于特征跟踪的质量。特征点的匹配跟踪不仅需要非常准确，而且跟踪轨迹要尽可能长，从而使得建立的约束充分完备，避免SFM重建漂移问题。其中一个重要难题是，如何将散布在非连续帧上的同名特征点（即对应同一个三维场景点）快速识别并匹配起来。传统的KLT跟踪方法难以处理这种情况，极易造成SFM重建漂移问题。为了解决上述特征点跟踪存在的问题，避免SFM重建漂移问题，我们提出一个新的非连续特征点跟踪方法，通过一个两遍匹配策略有效延长了特征点在连续帧上的跟踪寿命，并通过快速的匹配矩阵计算，有效找出具有匹配关系的子序列，进行非连续帧上的特征匹配，从而将分布在不同子序列上的同名特征点合并起来。该方法不仅能够有效处理循环回路序列的匹配，还能处理多视频序列的匹配，将各个序列恢复的三维结构和摄像机运动轨迹注册到同一个世界坐标系下。该方法能够有效提高摄像机跟踪的精度以及规模，从而为大场景的稠密三维重建以及实时跟踪的高效稳定运行奠定了基础。 这方面的工作发表在计算机视觉领域顶级会议CVPR 2007以及重要会议ECCV 2010上。基于这方面工作开发的摄像机自动跟踪系统ACTS，其在变焦长序列的求解性能上优于国际著名商业软件“Boujou Three”。目前该软件已经申请软件著作权，并于2009年7月底在网上发布（/acts/acts.html），受到了国内外同行的广泛关注和好评。目前已经有超过350名的注册用户。该系统已经成为我们许多研究工作的基础平台。进一步的研究工作通过在离线预处理中对场景进行关键帧简化表达，并结合在线的关键帧快速识别与匹配，实现了街道规模级别下的摄像机在线实时跟踪（已经发表在计算机视觉顶级会议ICCV 2009上）。 基于视频序列的时空一致性深度恢复 随着数字摄像和显示设备的快速发展和普及，人们对三维视觉技术的需求也越来越迫切。为了能从实拍的图像/视频中恢复出高质量的深度信息，基于多帧信息统计互补的思想，我们提出了一个基于视频序列的稠密深度恢复算法，创造性地提出在多视图立体深度恢复中采用集束优化方法，将序列各帧上的深度变量通过