彭宁松文献综述_供参考..docVIP

开题报告 题目：基于2D视图的3D物体识别与跟踪 姓名：彭宁嵩 导师：杨 杰 （教授） 上海交大图像处理与模式识别研究所 2003.5 基于2D视图的3D物体识别与跟踪 (Appearance-Based 3D Object Recognition and Tracking) 1 课题背景及意义 三维物体识别和跟踪是计算机视觉系统的核心组成部分。计算机视觉系统的目标是解释已有的“视觉”数据 ,并使用这些解释去完成任务 。出于机器人工件抓取任务、自动导航、自动检测、装配任务与医学图像的分析等等大量现实应用的需要 ,如今三维物体识别和跟踪已成为一个很活跃的研究领域。三维物体识别的方法主要分为两大类：一种是基于3D模型表示的识别方法(3D-model representation)，另一种是基于2D视图的识别方法(appearance-based representation)。前一种方法对于有简单几何形体的物体有着较好的识别效果。但是在现实应用中，由于很多物体的几何形体非常复杂，同时很难从背景中分离出物体的几何特征。另外，3D形体的计算也非常耗时。所以基于3D模型的识别方法的研究很多是在对实验室环境下搭建的具有简单几何形体和理想背景的条件下进行的。“基于2D视图的3D物体识别和跟踪”研究的是如何从某一物体一系列的2D视图中得到该物体的特征，进而在视频序列中识别出该物体并对其进行有效的跟踪。这种方法避开了对物体的三维建模，而且更类似生物认知的过程，因而更具有实际应用价值。但是，由于客观条件的限制，物体的2D视图是有限的。如何从有限的信息得到描述物体的某些对旋转、平移、缩放等变换具有不变特性的特征，以及如何处理遮挡(occultations)、如何高效地在2D特征数据库中根据某种相似性度量方法进行高效检索匹配(matching)、如何有效地剔除错误匹配(outliers)，以及如何稳健的对物体进行跟踪等等都是基于2D视图的3D物体识别和跟踪的研究热点和难点[1][2]3[4][5]。 2 国内外研究现状 当前国内外流行的三维物体识别系统主要按照对物体的表示方法分为下面两类：基于模型(3D-model representation)的三维物体识别和基于2D视图(appearance based representation)的三维物体识别。三维物体的识别的研究重点和热点主要集中在以下一些方面： 2.1 物体的表示(object representation) 如何对物体进行描述是对物体进行有效识别的基础。本课题主要研究如何从物体众多的2D视图中得到描述物体的某些对旋转、平移、缩放等变换具有不变特性的特征。用这些特征对物体进行描述。目前较为出色的对2D视图特征进行提取的工作主要有以下一些。 2.1.1 用特征对物体进行描述 N.Allezard等提出了近邻关键点的描述方法(local key point description)[6]。通过[7][8]的key point算子先找到key point，然后对每一个点采用由近到远的逐步细节描述过程来生成特征。这样可以使关键点周围的细节表示紧密，从而降低匹配时间。另外，由于采用了距离－细节描述机制，使其能够更好地适应物体变形、伸缩等变换。 Kenji Nagao[8]在分析了local geometrical features特征缺陷的基础上提出了利用photometric invariants特征如color constancy[9][10][11][12]来描述物体。由于颜色对视角和光照改变变换不明显所以能很好的刻画物体特征。 Bastian Leibe等人研究了诸多无需分割(segmentation free)的方法：颜色直方图(color histograms)[14]；局部特征相量(local feature vector)[15]；表面形状直方图(surface shape histograms)[16]；局部梯度直方图(local gradient histograms)[17]，发现它们可以有效地处理遮挡问题。进而提出了用局部特征直方图(Local feature histograms)的方法来表示物体。该方法采用pixel depth、surface normals和curvature三个参数来形成直方图。文献中验证了用这三个参数描述物体具有易计算、对视角变换不敏感和描述独立性强的特点。 Dorin Comanniciu提出了采用核函数作为掩模的彩色直方图的方法描述2D图像[31]。这种方法能够十分有效地克服物体的旋转、缩放和部分遮挡，取得了很好的效果。 2.1.2用神经网络对物体进行描述 三