面向安全监控的视频内容理解技术与应用.pdfVIP

面向安全监控的视频内容理解 技术与应用 获奖人：谭铁牛 黄凯奇 王宏志 王亮生 李尚明 自9.11 事件后, 国际社会对反恐、防恐等公共安全问题史无前例的高度关注,同时公共安全技术 的研究与应用也是《国家中长期科学与技术发展规划纲要》中部署的重点领域。随着构建和谐社会、 提高社会管理科学化水平等战略举措的实施，越来越多的安全监控摄像头被投入使用,常规视频安全 监控系统以人为观察主体，已经无法处理海量视频数据。基于计算机技术的智能视频监控技术应运而 生，已经成为新一代安全监控的发展方向。但目前相关核心技术主要来源于国外，严重地制约了在我 国公共安全和一些重要领域的应用。 主要研究内容 该获奖项目以此为背景，重点开展面向公共安全监控的视频内容理解关键技术及系统应用研究。 在核心关键技术上,主要解决 3W （Where, Who What）的问题，也就是监控视频中的目标在哪，目 标是什么以及目标在干什么，以达到安全监控的目的。 a. 目标分类和识别—回答”是谁”的问题 目标分类和识别主要是回答“是谁”这一任务。在本项目中，这一任务的完成有赖于两 个步骤，即对物体目标的分类和对于人的身份识别。目标的类别信息以及进一步人的身份信 息可以用于更高层次的行为理解。比如在交通监控场景中，目标的分类使得在完成车辆计数 的同时能排查进出的人或者其他物体；对于特定区域管理，目标的分类使得对于进入到禁区 的行人这一特定的目标进行报警，而进一步的人身份识别使得对于犯罪事件的调查成为可 能。 一般来说，目标识别首先要解决图像或者视频图像序列中出现的目标是哪一类物体，即 目标分类。尽管目标分类是计算机视觉中的一个基础性的“经典”问题，但仍然是一个尚未 1 完全解决的热点问题。同一种物体在不同的视角、姿态、背景中的表观模型往往存在巨大类 内差异，而由于遮挡、或者天然相似等原因，物体目标的类间差异不明显。这些困难给目标 分类带来了极大的困难。 本项目的一个重要的分类和识别的实例如图1 示。 图1.实景分类结果。人、影子、小虫的分类结果，P 代表人，X 代表其它目标 b. 目标检测和跟踪—回答”在哪”的问题 目标检测及跟踪主要解决“在哪”这一任务。在本项目中，运动目标检测是一个重要的 底层模块。运动目标给后续跟踪、分类以及高层语义理解提供了关注的范围。在监控场景中 利用运动信息进行目标检测的方法目前主要基于背景建模的方法。通过比较前景和背景模型 的差异，这类方法提取得到了目标的位置信息。 图2 基于背景建模的目标检测算法示意图 基于目标检测初始化位置，目标跟踪算法根据前后帧中目标特征表达的相关性，进一步 对目标进行新位置的预测和提取目标移动轨迹信息。目标跟踪算法主要包含两个步骤，即目 2 标的特征表达和目标特征的数据关联。如图所示，在单摄像机得到的视频图像序列中，目标 跟踪算法将实时地给出目标的运动位置信息。目标跟踪当前主要有两个问题亟待解决，其中 一个是在遮挡条件下的跟踪，其二是在多摄像机条件下对同一运动目标的跟踪。 图3 基于粒子滤波的人体跟踪算法示意图 在实际应用中，运动阴影及光线剧变等问题是需要解决的难点问题，通过分析，我们发 现移动阴影的产生是因为运动物体在光源和背景之间移动时遮挡光源所致，而光源随着时间 的变化，阴影的位置和亮度都会发生变化，我们提出利用对背景表面折射率建模作为方案。 由于背景的折射率分量只与背景有关，而背景在摄像机不动的情况下保持不变，所以我们的 特征具有相对其他特征来说更稳定的特点。 c. 目标行为理解—回答”干什么”的问题 基于目标检测、跟踪以及识别等底层算法，高层行为分析与语义理解主要解决“做什么” 这个任务。目前主要可分为基于形状的近距离行为分析以及基于轨迹分析的远距离行为分 析。基于形状的行为分析经常得到关注。一般来说，算法主要采用剪影和轮廓线这两种特征。 剪影方法考虑形状中的所有像素而轮廓线的方法只提取形状的外部边缘。基于这些特征，在 近距离条件下，可以进一步实现行为分析