第六章 运动图像分析与 视频处理.ppt

视频编码器 模拟摄像机 模拟摄像机 四、智能视觉视频监控 研究意义； 国内外研究进展； 视频监控网络； 创新点和特色； 研究意义 摄像头已经广泛地安装在众多领域； 获得有价值观察输出所需要的人力却是非常的昂贵； 需要的是对活动视频进行24小时的计算机自动分析； 对现有视频监控系统进行升级换代所留有的市场空间十分巨大； “911”事件突显本申请项目的紧迫性； 我国也存在一些不稳定因素； DARPA VSAM (Video Surveillance and Monitoring ) SARNOFF CMU MIT USC Cornell SRI … … 国外研究进展 测试环境---CMU校园 运动检测 分类识别结果 基于骨架的活动分析 虚拟现实 多个摄像头协同跟踪 多个摄像头图象融合 英国警方利用人运动检测与跟踪技术于公共场所的视频监控网络，犯罪率明显降低； 美国维吉尼亚海滩市警方目前正在测试一套面部图像识别软件，这是继佛罗里达州坦帕市后家美国都市警察第二次应用面部图像软件。 冰岛机场采用人脸识别技术进行安检； 以色列采用视频监控技术阻止自杀性袭击； 国内研究进展 2002年5月26日，第一届全国智能视觉监控学术会议，150多位专家齐聚北京； 分别就智能视觉监控中的摄像机标定、物体识别、运动分割与跟踪、多摄像机融合、视频监控网络的构建等问题进行了研讨； 共选用与报告论文24篇。 检测灰值角 在运动分析与识别中，二维形状轮廓上突出的拐点是一个常用的、重要的特征。通常有两种方法：一是从分割的二值图象边界上，找出有意义的拐角点；二是直接从灰度图象上检测拐角点，可以避免对先验知识的依赖，这种技术称为灰值角检测。因此在这里“灰值角”就是拐角点。 灰值角检测的基本思想：灰值角位于形状轮廓上的高曲率位置，而且都是具有较高的局部梯度值。灰值角检测技术常选用一个局部算子，并行地用到一幅灰度图象的各个邻域上。在每一个邻域，算子对通过该邻域的每一条边缘做某种曲率测量。然后将计算结果与该边缘的局部梯度值组合以完成灰值角的检测。最简单的方法是取这两个因子的乘积，并且认为具有高乘积值的位置存在灰度角，即取轮廓上方向变化迅速的强边缘作为显著的拐角点。 常用的 方法有：梯度幅度法、边缘方向变化法、最相似邻点之间的夹角、DET算子、基于Facet模型的灰值角检测、Kitchen-Rosenfild方法等。 有意义点 = 最小方向差 有意义点的检测 点匹配 （1）在第一幅图象上围绕兴趣点选择一个小区域作为采样窗口； （2）第二幅图象上所有的兴趣点都是侯选的匹配点，每个侯选匹配点围绕自身选择一个与采样窗口同样尺寸的窗口，称为侯选窗口； （3）对每一个侯选匹配点，比较采样窗口与侯选匹配窗口中点的图象灰度值，确定出匹配测量值； （4）在这些匹配测量值中选择最优的匹配值，与最优匹配值对应的匹配窗口，成为最优匹配窗口，最优匹配窗口的中心就认为是第一帧图象兴趣点的对应兴趣点； 采样窗口 候选窗口 点匹配计算兴趣点的运动向量 搜索兴趣点在另一副图象中的最佳匹配 算法所得到的运动向量 All motion vectors are clustered into 3 groups of similar vectors showing motion of 3 independent objects. (Dina Eldin) Motion coherence: points of same object tend to move in the same way Motion coherence provides redundancy for compression MPEG “motion compensation” represents motion of 16x16 pixels blocks, NOT objects 面向特殊问题的集成跟踪 人体头、手、脚的跟踪 通过跟踪人脸、眼睛和鼻子来控制鼠标的移动 基于粒子滤波的人脸跟踪 检测视频中的显著变化 场景变化：一般指的是视频中的背景变化； 镜头切换：通过显著改变摄象机的视点来实现，如下图 摄象机扫视：摄象机从左（右）到右（左）水平扫视景物 摄象机变焦：随时间改变焦距 特效处理：利用淡变、溶变、檫除等效果把一副图象转化成另外一副图象 视频图象序列分割 目的：把一个较长的图象序列分割成单个场景，使得每个场景对应于一个镜头 方法1：计算对应点之间的平均差 方法2—似然比 方法3：直方图比较 忽略摄影特效 忽略由于摄象机扫视、变焦而引起相邻两帧图象的显著变化，通过检测运动向量来进行判别； 三、视频监控网络简介 发展阶段： 1、本地模拟信号的图像监视网络 主要由摄像机、视频矩阵、监视器、录像机等组成，由视频线、控制线缆等连接。 利