图像与视频理解和处理.docVIP

图像与视频理解和处理 　　由于当前城市发展模式僵化，社会问题和矛盾不断显现，造成巨大的能源浪费和交通拥堵、环境污染，因此智慧城市成为了城市发展的一个新愿景，也是综合城市发展规划、城市运行管理的一种新发展模式。其中，智能的视觉技术对图像与视频的高效处理扮演着重要的角色。 　　图像视频的结构化分析 　　在智能交通监控和智能安保系统当中，需通过对大量的图像、视频进行提取和分析，才能进行内容的识别和行为的检测。 　　显著性区域检测 　　显著性区域检测，就是在图像、视频中找到最容易引起视觉注意的区域，比如前景，或者运动的物体等。通过显著性检测，可以优先分配计算资源，提高目标识别、内容分割和检索的准确性。在城市安防、交通监控、公共安全、刑侦等方面，可以用于灾害的检测、异常行为检测、犯罪线索搜索等，它是一个非常底层的算法，通过这个显著区域检测，可以做前景的分割。它的重要意义是基于全部的对比要比基于局部的对比的方法优秀，识别与检测工作可基于这一基本判断，即当找这个显著性区域的时候，就可以做全局性对比。区域显著性主要是由它和周围区域的对比度决定的，相对较远的区，作用会较小。另外，做显著性检测算法的时候速度一定要非常快，因为它处于底层，需处理海量的图像数据。团队主要的想法就是提出一个“直方图对比度方法”。 　　团队还提出了基于区域对比度的方法，这个算法在目前最大的公开测试集上做了测试，在精度和召回率方面，都比原来有很大提高。这个工作发表在2011年的CVPR（IEEE Conference On Computer VisiOn and Pattern Recognition，IEEE国际计算机视觉与模式识别会议）上，现在国内外700多个大学在应用这个算法。 　　相互几何结构的检测 　　清华团队提出了一种基于简单交互的相似物体快速检测方法，并在此基础上进行了物体的几何对应关系计算。主要流程是用户选一个物体后，程序会通过轮廓带图法来检测相似的物体，然后就可以再进一步做对应关系、层次、补全等应用。核心技术轮廓带图法是一种图像比对的方法，它利用所选图像的信息做扫描、比配，来找其它相似的物体，然后可以做几何层次结构图恢复。例如在一张图上描绘有若干个蒙古包，通过相互几何结构的检测可以自动识别与其相似的物体，赋予图形不止有像素的概念，还有物体的概念，这样即可同时对它们进行编辑，当对一个蒙古包图形进行添加门的编辑操作时，就可以让其它的蒙古包图形同时加上门。 　　场景几何构图的分析与优化 　　清华团队提出了一种基于视觉和心理学准则来自动评价视频图像数据中物体几何构图的方法，指导用户的构图。利用这个方法可以做很有趣的事情，可以把前景物体自由摆放到恰当的位置，让人感觉效果比较好。 　　关于图像与视频的编辑 　　由于摄影、摄像等终端采集设备与网络技术的广泛推广，图像与视频数据呈几何爆炸增长。在智能交通监控，或者交互公共服务中，原始数据必须要经过自动编辑处理才能进入应用阶段，而视频内容也可以通过交互式的编辑用于演示与分析。在这方面，清华团队主要进行双目立体图像的视角编辑、鱼眼视频校正、视频的时空编辑三方面的工作。 　　余眼视频校正 　　目前很多监控视频都采用鱼眼镜头，鱼眼镜头是超广角镜头，视角很大，它拍的东西图像是扭曲的，为保持显著图与实物的一致性，清华团队提出一种高效并且具有鲁棒性的鱼眼视频校正算法。通过该校正算法，可对广角镜头拍的原始的视频进行校正，重新裁剪，使其就变成一个比较正常的视频。 　　视频的时空编辑 　　视频的时空编辑就是在时域上以时间线来编辑视觉体校，这是在电影中经常被使用的方式。通过对城市中拍摄的视频进行时域编辑，可以展示很多智慧城市的不同风貌。例如对视频中的运动对象做时间轴的编辑，可以在不改变物体运动轨迹的情况下，改变它们的运动速度，以达到不同的效果。清华团队制作了一个软件界面，把视频中汽车的轨迹用柱状物表达出来，然后从另一个界面来控制它，视频中本来会相撞的车，通过更改其速度会变成不撞车。使用这个时空编辑可以进行很多交通情况的分析，和案件再现、分析等。在视频的时空编辑方面，现在国际上才刚刚开始做。 　　图像视频的增强 　　今年雾霾成为全国的热点。清华团队提出了一个去雾的模型和方法，主要是对数字图像进行深度估计，然后基于深度图优化，利用优化和深度图来做去雾的生成，效果不错。第二个是边缘敏感的图像滤波。提出了一种通用的滤波算式来做图像的处理，但是希望保持边缘结构。算法的思路是，利用简单的图像滤波器，在图像的每个较小的子窗口上获得满意的输出结构，然后将局部滤波效果无缝拼接起来。这样就可以对图像的细节度和对比度进行调节，改变图像效果。另外还可以做图像增强，如高动态防伪的图像增强。 　　平台的实际应用 　　在这些关键技术上的研究成果之上，清华团队参与实施两个实