Sidenbladh-2000-STH-Stochastic..docVIP

使用2D图像随机追踪3D人物的方案 概要：引见一种可能的方法用来追踪在单眼序列中关节联系的3D人物。在Bayesian框架里，我们定义一种图片外观生成的模型，一种基于图像灰度差异的极大似然函数方程，和一种模型化人物移动时模型关节角度的先验概率分布。对模型参数的后验概率分布则使用离散样本系统，其在时间上的传播使用粒子滤波。这种方法为利用参数化光线溢出估算来使用复杂的3D关节链接运动模型提供了前期工作；它同时也通过包含透视镜头模型，模型化肢体自闭塞和从单眼序列中恢复3D运动为人体运动追踪提供前期工作。后验概率外在作用表现为由图片匹配，模型奇点和立体投影引起的图像模糊。该方法仅依赖于一帧到帧的亮度恒定的假设，因此能够在变幻的视角，灰度图像序列和复杂的未知背景中追踪人物。 介绍 我们介绍一种Bayesian方法用来在单眼视频序列中追踪3D关节链接人物。在透视投影视角下，人物身体可以视为关节链接的圆柱体。根据外形，外观，肢体运动和像素亮度噪声模型来定义生成一个模型。这导向了一个指定已知模型参数图像的观测概率的似然方程。模型参数的先验概率分布依赖于躯体当前动态和躯体历史外形和动作。根据这个似然方程和时间优先级，我们从已知观测记录得出的每一个瞬时模型参数值可以公式表出后验分布。 从2D图像单眼序列得出的3D人物动作预判因为多种原因有异议。这些包括非线性动态肢体，2D图像映射到3D模型引起的图像模糊，不同肢体外观的类似性，自体闭锁，运动奇点和图像噪声。这些因素造成的结果通常是我们期望模型参数生成的先验概率分布是多模型化的。同时，我们不抱希望说找到一个闭合解析式，是模型参数的似然方程的表达式。 基于这两点原因，我们使用离散样本系统来表达无参数的先验分布，该系统中每一个样本都符合假定的模型参数。图1（a）通过展示一个3D模型参数分布投影到一张图片后取得一些样本点来说明这一点。这个分布在时间上通过粒子滤波来传播。 在视频中侦测和追踪人体运动在动画制作和人机交互领域上有多种多样的应用，并有广泛的开发潜力。基于这点原因，在这个问题的研究上，我们取得了显著的进步。大多数提出的方法都依赖于一些资料，如皮肤颜色和已知背景，但通常我们很难获得。这些都暗示我们，尽管这些方法都行之有效，但在3D人物运动方面却没有任何价值。我们把精力聚焦在3D运动的外形和它在照相机面板上的图像投影。这个方程在图像运动方面，给予追踪者一些方法来无视衣物，背景混乱和环境灯光的影响。此外，这种方法还不需要色图，不同视角的多照相机。结果是，这种方法只需要纪录片电影胶片和廉价的视频监视仪器。立体投影的应用让模型在深度上处理有意义的改变。最后，不像模板追踪方法，图像动作的使用使得在变幻视角下的追踪成为可能。在图示中有这些性质的例子，包括在混乱的图像中追踪人物行走，当它们的方向和景深极受镜头改变影响时。 2.工作描述 人物动作判断是当下正发展的研究领域。我们简要的回顾一下以前在Image cues，body representation，temporal models和判断方法上的成果。 Image Cues.有代表性的人体追踪方法使用简单的标识如背景差异图像，颜色或边缘。不管方法如何健壮，这些标识提供的有关图像特征的信息都很少。图像动作（optical flow）提供了丰富的标识，但是，因为它仅使用帧间关联动作，所以对多帧间累积错误敏感。结果是随着时间过去，这些方法与正确的解决方法越走越远。图像模板的使用可以避免这个问题，但这些方法对视角和光照的改变敏感。最有意思的工作结合了多种信号，如edges和optical flow。我们描述的Bayesian方法可能提供一个框架来有机的结合这些信号。 这里的方法关注从2D图像变化中识别出3D关节动作。这样做，我们在近期工作中使用开发的光流概率估计的粒子滤波。该方法已应用于非线性空间和时间的光流模型，并且扩展到3D物体运动。 身体和相机模型 人体模型在细节上的差别很大。一个极端的方法是粗略的把身体模型化为面片的集合。在另一个极端的是3D模型，里面的肢体是可变形的。此外，对观察条件的假设从正投影到全视角。为了描绘深度的变化，我们在透视投影下把身体模型化为关节联系的圆柱体。 时序模型 人体肢体或关节时态模型的复杂性也有所不同，他们包括平滑运动[7]，线性动力学模型[18]，从使用的训练数据降维[3,16,23]非线性模型和概率隐藏马尔可夫模型（HMM模型的）（例如，[4]）。在这许多方法中，首先是图像测量，然后是应用时间模型来平滑化和解释结果。例如，Leventon和Freeman提出了一个Bayesian框架，用来从2D简笔人物运动中恢复3D人物运动。他们学到了在人物动作先验分布中使用矢量量化。给定2D运动关节集合，可以找到