SomeTechniquesofNaturalImageandVideoMatting.docVIP

Some Techniques of Image Matting 董子龙 浙江大学CADCG实验室 浙江大学计算机系 摘要： 图像和视频抠图(Matting)技术可以分成自动和半自动；根据背景的先验知识，又有蓝屏背景，已知背景，和自然背景扣图。报告介绍了自然背景下的半自动扣图，以及能获得类似结果的技术，如Snapping。其中我实现了Bayesian Matting。 Introduction Image Matting是将图像的背景和前景分离的技术，广泛用于图像合成和影视特技制作中。最早的技术在如蓝色绿色等单色背景下将前景物体分离，之后通过已知自然背景包含和剔除前景物体的两幅图像求解，类似的是同一个前景物体在多个背景下的多幅图像，最新的技术都是处理自然背景的单幅图像的半自动学习方法，包括将Image Matting的技术应用到视频，可以将运动的物体抠出，并合成到任意场景中。报告主要介绍半自动学习技术。 所谓半自动，是因为实现用户必须在图像上预先指定三个区域(Trimap)：背景(黑色)、前景（白色）、未知区域（灰色），图1(b)。根据已知确定的前景背景，半自动技术才能一边学习一边求解。当然也有其它的交互方式，不一定需要这么详致的信息，在2.3和2.4种都是特殊的更为简化的交互。 Matting一般基于公式1，C为未知点的颜色，是透明度，B是背景色，F是前景色： （ 1 ） (a) (b) 图1 Image Matting A Bayesian Approach to Digital Matting [1] (CVPR 2001) Bayesian Matting (BM)定义一个Bayesian框架来公式化Matting的参数，并求解一个最大后验问题。BM的改进还在于，通过滑动的窗口，将已经计算出来的未知区域也作为样本数据，这样在过渡区域获得更好的效果。BM的记过比之前所有的方法都要好。 2.1.1 Bayesian Framework 如公式2，其中F、B、分别是需要求解的背景色、前景色、和不透明度，C是已经知道的图像上一点的颜色。在C已知前提下，求使得概率P最大的F、B、，就是我们需要做的事情。L是对数函数，将乘法化为加法，简化计算。 对等式右侧的四项分别建模： L(C|F, B, )对应以为标准差，中心在F-(1-)B的高斯分布，公式3。 L(F)也对应一个高斯分布(公式6)，通过空间的耦合性，即相邻像素的颜色，计算期望(公式7)和协方差矩阵(公式8)。先以未知点为中心的圆采样，不断扩大搜索半径，直到采到足够的已知背景和前景点，其中所有的已经求解的点也加入样本，样本根据颜色聚类。每一个样本点对应一个权值(公式4)。其中是不透明度，是以距离为参数一个高斯衰减函数。 L(B)与L(F)类似，只是把全w的替换成。 L()被当作定值。 2.1.2 求解过程 求解的是一个迭代过程。先假设确定，对公式1右侧求偏导数，得到6元一次方程组(公式9)，转化为一个简单的解线形方程组问题。 将公式8解得的结果投射到颜色空间(公式10)，得到新的，再代入公式9。 初始的可以取附近像素的平均值。如果样本有多个类，则对前背景的样本聚类一一对应求解，并取使公式1最大的解。 Poisson Matting [2] (Siggraph 2004) Poisson Matting(PM）是在图像的亮度梯度场上求解一个泊松方程，确定。PM首先在全局上求解，得到的结果通过多种局部滤波方式选择性的改进。由于给了用户更多的交互手段，处理复杂的场景比BM更加稳定。 2.2.1泊松方程 将公式1表示为公式11，对公式11两边求偏导数得到公式12。左侧对应的就是输入图像的亮度梯度，只是估计值。假定背景和前景都是比较光滑的，那么项近似为零，公式12变换成公式13，这是对的梯度估计，PM就是在这个梯度场上解出。 相应的泊松方程是公式14，是拉普拉斯算子，div是散度运算。其狄利克雷边界条件定义如公式15，其中代表未知区域的外边界，前景，背景，如图2(a)。 图2 2.2.2全局求解 这也是一个迭代优化，有三个步骤： 初始化（F-B）项，因为F和B未知，分别近似为在中最邻近的像素。 计算，求解公式14。 F，B优化，使，即把几乎全部是前景色的像素加入到；类似的，。然后将中的F，B更新到在和与之最近的像素颜色。 重复步骤2，3，直到的变化足够小或和为空。 2.2.3局部优化 局部优化事实上在全局求解结果不令人满意的区域加入用户的交互，使得对梯度的估计更加准确，同时加入全局求解中被忽略的项，如图2(b)区域。此时的边界