基于层次化运动模型运动目标检测.pptVIP

基于层次化运动模型的运动目标检测吴 晖 roadmap 1 基于光流的运动估计motion estimation based on optic flow 运动 光流 观察者与场景目标之间有相对运动是图像亮度模式的表观运动 约束方程 约束方程 Known as the “Aperture Problem” Aperture Problem Exposed 光流计算 由于孔径问题的存在，仅通过光流约束方程不使用其他信息是无法计算图像平面中某一点处的图像流速度的。 Computing optic flow Computing optic flow Computing optic flow 2 运动分割motion segmentation algorithm Motion hypothesis generation Motion hypothesis refinement Region segmentation Region adjustment Affine motion segmentation 3 运动目标检测 运动目标检测 Thank you! ? * * 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。 实际的图像可分两类： 静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点 动态场景运动检测的一般步骤： 1 全局运动补偿 2 运动目标分割 求解全局运动 参数 对于景深不同的情况， 全局运动补偿的方法失效。 解决办法： Layered representation 将具有多组运动参数的图像每帧分割成不同的运动层，每层表示了位于不同三维深度的背景物。 Layered representation Since 1994 Wang and Adelson 求图像 运动场 运动分割 运动目标 检测 光流场 Initial purpose Image Coding In 2007 moving objects detection by 郑世友 计算图像光流场 运动分割 运动目标检测 运动是重要的视觉信息，基于运动，我们可以进行: 目标跟踪(tracking), 分割(segmentation), shape from motion, 图像编码(coding)…….. 两个基本问题 （1）有没有运动物体？ （2）运动速度和方向如何？ 三维物体的运动，造成图像上对应点的运动 Image plane Scene Flow Motion Field 图像的变化 目标运动的信息 光流可看成带灰度的像素点在图像平面上的运动产生的瞬时速度场 设点在 时运动到 亮度保持不变，即： * Slide from Michael Black, CS143 2003 在某一点上我们只能确定光流在图像梯度方向上的分量。 Motion along just an edge is ambiguous Motion along just an edge is ambiguous 需要足够的图像梯度信息，才能进行准确的估计 Horn-schunck 利用光流在整个图像上的光滑变化假设求解。 Lucas-kanade 假设在一个小的领域内运动矢量保持恒定 Nagel 使用全局平滑约束建立光流误差测度函数 仿射变换六参数模型 设第k帧图像中某一个像素点 ，对应第k+1帧图像中 ，则它们之间满足下列关系： 用齐次坐标表示为 用向量表示参数为： Motion Hypothesis Generation Motion Hypothesis refinement Region segmentation Region generation Region filtering Region splitting Optic flow Output motion region layers 我们假设图像的运动场遵循一系列参数不同的仿射运动模型，这些运动模型对应了图像中不同的运动区域。 每个像素被分配到最接近其运动向量的模型。 这样图像就可以被分割成相互区别的运动区域，每个对应了一个假设的模型。 Motion Hypothesis Generation Motion Hypothesis refinement Region segmentation Region generation Region filtering Region splitting Optic flow