自然图像抠图技术综述教程.doc

自然图像抠图技术综述 1 自然图像抠像技术概述 抠像技术, 也称为数字抠像技术, 是在数字图像上进行的一种处理技术. 抠像技术最初是从影视行业中发展来的, 目前, 它已经成为视觉特效制作中至关重要的一个部分. 利用抠像技术, 电影导演可以将任何一个需要的物体无缝插入到一个指定的背景中, 当然也可以将电影演员融入到计算机所绘制的虚拟场景中去. 目前, 几乎所有的电影都用到了数字抠像技术, 尤其是科幻片, 如“变形金刚”, “后天”, “2012”, “盗梦空间”, “阿凡达”, “哈利波特”等等. 另外数字抠像技术在媒体制作中也有相当广泛的应用, 如视频, 杂志, 广告, 电视以及多媒体标题的制作等等. 而随着计算机技术的发展, 用户对于能从一幅自然图像中抠取感兴趣的物体的需求也越来越强烈, 对于抠像质量的要求也越来越高, 因此, 自然图像抠像技术具有一定的理论意义和应用价值. 抠像是一种从数字图像中将用户感兴趣的部分（这个感兴趣的部分在本文中称为前景部分）从图像其他部分中分离出来的一种数字图像处理技术. 早期的抠像主要是针对背景受限的图片, 例如著名的蓝屏抠像[1], 它需要将那些待抠取的物体置于蓝色或者绿色背景前面, 因此具有很大的局限性, 而且所需的硬件器材价值也比较昂贵. 随着计算机计算速度的提高, 用户对于从自然背景中抠取出感兴趣物体的需求越来越迫切, 因此带动了自然图像抠像的发展, 对于自然图像抠像的研究已经有20多年历史了, 发展到现在, 主要分为三类：基于采样的方法, 基于传播的方法以及采样与传播相结合的方法. 基于采样的方法需要用户给出较为精确的三分图, 然后对于未知区域的像素的一些抠像参数, 通过利用附近的样本来近似求得. 该方法的优点是计算速度快, 缺点是需要较为精确的三分图, 并且当采样不准确时会得到较差的抠像结果, 因此鲁棒性不强. 基于传播的方法一般只需要用户给出简单的前景和背景指示线条, 然后通过某种方式将信息传播到附近的像素. 该方法的优点是只需要用户提供粗糙的三分图, 并且该方法对大部分的图片均能获得较好的抠像效果, 因此具有较强的鲁棒性. 缺点是部分先验信息浪费, 好的传播方法的设计较为困难, 计算速度慢. 采样与传播相结合的方法是目前研究的热点, 它能够有效结合前两类方法的优点, 但当采用的采样方法以及传播方法不好时, 它也会遗传前两类方法的缺点. 自然图像抠像实际上是已知图像像素的颜色, 计算像素的不透明度值, 前景颜色以及背景颜色的问题. , , 和的关系可以通过如下式子描述： (1.1) 式(1.1)中的表示图像像素的索引. 方程(1.1)通常也称为合成方程, 该方程实际上是一个欠定方程, 以彩色图像为例, 由于, 和均为三维向量, 所以实际上方程(1.1)是一个拥有三个方程七个未知量的方程组, 这个问题是一个非适定问题, 具有无穷多组解, 因此, 需要通过给出一些限制条件以及适当的假设, 以使得原问题具有唯一解. 由此, 自然图像抠像可以分为基于采样的抠像, 基于传播的抠像和采样传播相结合的抠像. 1.1 基于采样的抠像方法 这类方法需要用户给出图像的三分图：确定的前景区域, 确定的背景区域以及未知区域. 如下图： 图1.1 图1.1中左图为原图, 右图为用户绘制的三分图, 其中白色区域为确定的前景区域, 黑色区域为确定的背景区域, 灰色区域为未知区域. 这种方法假设图像是局部连续的, 换句话说就是图像的前景和背景在局部变化很小, 因此可以用周围样本点前景和背景来对当前未知像素点的前景和背景进行近似估计, 然后通过得到的前景和背景得到透明度值. 这类方法思路简单, 未知像素点的前景和背景颜色是采集到的前景和背景样本的颜色的加权平均颜色, 模型如下： 其中表示为第i个像素采集到的前景样本像素的索引集合, 表示为第i个像素采集到的背景样本像素的索引集合. 第i个像素点的非透明度值采用如下式子进行计算： 根据采样方法的不同, 加权值定义方法的不同以及其他, 研究者们提出了各自的抠像方法, 这类方法主要有： Ruzon和Tomasi在2000年提出的Alpha Estimation in Natural Images[2], Hillman等人于2001年提出的Alpha Channel Estimation in High Resolution Images and Image Sequences[3], Chuang等人于2001年提出的A Bayesian Approach to Digtial Matting[4], 林生佑等人于2005年提出的基于感知颜色空间的自然图像抠图[5]