基于视觉运动特征的群体视频分析与理解.docxVIP

基于视觉运动特征的群体视频分析与理解 群体视频分析与理解是视频监控领域里一个十分重要的研究课题 , 它涉及到 公共空间的群体安全保障、 城市交通规划设计以及城市公共空间管理等诸多方面。 随着城市化进程的加快 , 高密度人口的大城市越来越多 ,随之而来的则是日常生 活中随处可见的行人集群。 社会的快速发展对有效防范大规模群体事件以及高水平的城市公共管理都 有着迫切需求。解决这些问题的一个有效的手段就是通过计算机视觉技术对群体 视频进行分析和理解 , 从而自动地感知群体行为 , 为公共安全应急的研究和响应 提供智能化的辅助与支撑。 本文从群体运动特性出发 , 针对群体场景中运动模式不同的结构化程度 ,利 用计算机视觉技术、动力学、矢量场等领域知识 , 研究相应的群体运动表征方法。 在此基础上 , 进一步利用统计分析、机器学习、排序学习等方法对群体运动进行 更上层的判别和分析 , 从而实现从视频中对群体行为的理解 ,进而为群体场景的 公共安防、监控视频智能化管理等落地应用奠定一些理论和实践基础。 首先,针对典型的结构化群体场景 , 提出基于轨迹的运动结构编码算法用于 群体运动表征。与现有群体运动表征方法不同 , 该算法除了利用局部的群体运动 特性(即旋度和散度 ), 还充分挖掘群体运动空间结构信息 , 同时利用切向路径和 径向路径来表征全局运动结构。 最后, 通过路径积分的方式将局部运动特性与全局运动结构桥接起来 , 从而 产生 CDT(Curl and Divergence of motion Trajectories) 运动特征。另外 , 我 们从数学上证明了该运动特征具有尺度不变和旋转不变特性。 这种良好的性质是现有群体运动特征所不具备的。据我们所知 , 这是第一次 将矢量场的旋度和散度作为群体底层运动特性的度量 , 也是第一次同时利用切向 运动轨迹和径向运动轨迹来表示群体运动结构。 而运动积分则是该算法的精髓 , 通过曲线路径积分 ,得到运动模式的整体特 征,以及使得该特征与尺度和方向无关。 其次, 提出群体运动分割及行为识别算法。 为了将运动模式从群体场景中分割出来 , 以及解决一个场景存在多个相互交 叠的运动模式的情况 , 我们提出首先对光流在时间域上进行聚类 , 得到一个复杂 的运动矢量场 , 然后利用粒子漂移算法将其分解为多个具有单一运动模式的子运 动矢量场。之后,再利用基于轨迹的运动结构编码算法提取 CDT运动特征。 至此, 已实现从群体视频到运动模式 , 再到运动表征的计算过程。最后 , 利用 SVM分类器完成群体行为识别。 在该算法中,我们提出并解决了复杂矢量场的分解问题 ,这是群体行为识别 的基础。而对每一个运动模式的有效表征 , 则是实现有效判别群体行为的关键。 综上所述,基于本文提出的运动分割和有效的运动表征 ,我们实现了相对于 现有算法性能更优的群体行为识别算法。再次 ,提出基于手绘运动轮廓的群体视 频检索算法。 为了方便用户从海量视频中检索出带有特定运动模式的群体视频 , 我们提出 以用户手绘的运动轮廓作为查询项 , 方便用户自由地表达出想要检索的视频。这 种从手绘运动轮廓到群体视频的检索在现有的研究工作中并未出现。 而在“运动轮廓 - 群体视频”检索任务中的核心问题是异构数据之间的距离 度量间题。我们提出将手绘运动轮廓进行矢量化 , 转化为一个运动矢量场 , 然后再 利用基于轨迹的运动结构编码算法提取 CDT运动特征,这样就可以实现将运动轮 廓和群体视频映射到同一特征空间 在样本匹配方面,我们提出多种距离度量融合策略并结合 Ranking SVM算法 进行排序学习 , 从而得到更好的群体视频检索性能。最后 , 提出双线性 CD（Curl and Divergence） 特征用于非结构化群体视频表征 , 并将其应用于群体视频分类 与检索。 针对非结构化群体场景 , 我们依然从群体底层运动特性 （即旋度和散度 ） 出发, 通过提取密集的局部特征 , 进而利用特征编码算法和特征降维算法实现群体视频 表征。具体来说, 首先从归一化运动矢量场上计算相应的旋度图和散度图 , 然后利 用参数化的 Sigmoid 激活函数得到旋度激活图和散度激活图。 通过滑动窗口 , 在这两个特征通道上抠取一定大小的图像块 , 那么它们之间 的矩阵外积即为局部的双线性CD特征向量。移动滑动窗口，我们可以得到密集的 局部双线性CD特征。 为了得到统一的特征表示,我们利用Fisher Vector Pooling 算法和PCA算 法进行特征编码和降维。将该视频特征用于群体视频分类和检索 , 实验结果表明 基于旋度和散度构建的视频特征可以在现有的群体视频描述子的基础上 , 进一步 提升群体视频分类和检索性能。 综上所述, 本文的研究工作