多媒体论文讲解.pptx

Large Inpainting of Face Images With Trainlets运用Trainlets的大型脸部图像的修复制作人：李彬图像修复前瞻图像修复是一种数据完成问题，旨在恢复或填充退化图像中缺少的信息。 这些区域可以由沿着图像分布的单个丢失像素或者由旧照片的划痕，折叠或其他形式的退化所产生的连续区域。 在极端情况下，其中待涂的面积相对较大（也称为空穴填充）的时候，这个问题变得具有挑战性。图像修复现存的修复方式依赖偏微分方程，变分方程，基于样本的方法，稀疏执行先验等等现行修复方式的缺点：尽管它们具有高效的性能，但所有这些作品都限于小区域或通过传播和填充适当的周围背景来去除对象的任务提出问题我们将集中在大面积的面部图像的修复的具体问题，如图1所示的情况。正如可以预见的，传统的基于补丁的方法在恢复或估计丢失数据方面将不是有效的。 事实上，任何试图通过从可用图像数据传播信息来修复丢失区域的方法都将失败，因为所有这些方法都忽视了以下事实：获得高维信号的自适应全局模型的任务是一个困难的问题左眼图像：左眼图像丢失的人脸图像。右：用所提出的trainlets方法获得的修正结果尝试方案一些尝试包括多元学习技术，提出学习一个适应性低维流形图像。 这项工作包括合成和纹理数据的绘画示例，但它仍然远未提供真实世界的面部图像的实际解决方案。另一方面，提出使用卷积神经网络来训练全局模型以去除自然图像中的大孔。 然而，这个网络是针对一般（街道）图像的训练，并不适用于我们的具体问题提出解决方法建议构建这样的全球先前使用稀疏表示建模和字典学习（DL）。DL的问题包括自适应地学习组原，其能够尽可能稀疏地表示实际信号，并且在过去十年中在信号和图像处理中是一个流行的主题。然而，由于这个问题所需的计算约束，所有的学习方法通??常应用于来自图像的小块而不是图像本身。换句话说，试图用传统的DL算法获得这样的全局字典将是不可行的。提出Trainlets框架其中自由度提出在线稀疏字典学习（OSDL）算法，能够从自然图像获得大的适应性原子。Trainlets被构造为来自快速和分析字典的原子的线性（稀疏）组合，新颖的小波的。这封论文提出了关于面部图像的稀疏近似的一些初始结果，表明它们在建高维数据模型中的有效性。根据从公开可用的数据集训练的全局字典，将修复任务制定为由稀疏先验规则化的逆问题。我们的研究结果表明，所提出的方法能够合成丢失的信息，这是符合图像的全局上下文，产生自然重建的面孔。介绍OSDL---稀疏字典学习I.稀疏模型 　　稀疏模型是最近几年比较hot的技术，在信号处理（压缩感知）、计算机视觉（比如JPEG压缩）领域影响比较大，在机器学习框架则可以看做是一种特征处理相关的模型。具体的，稀疏表示是指在超完备字典DD（超完备是说字典行数小于列数）中用尽可能少的原子来表示信号xx，即： minα∥α∥0,s.t.x=Dα.minα∥α∥0,s.t.x=Dα. 考虑噪声就是 minα∥x?Dα∥22+λ∥α∥0,minα∥x?Dα∥22+λ∥α∥0, αα的size比xx大很多，但是非零元素比xx的size小很多很多。稀疏的优点主要在于它是非线性模型，所以表达能力更强。具体来说，每个信号稀疏系数的非零元素位置不同（所谓的support），所以每个信号可以看做被投影到了不同的线性子空间，这是和正交字典-PCA之类的最大区别。而为什么在视觉图像里应用尤其多，也正是因为每张图像（如人脸）可以看做处于高维空间的一个低维子空间上（其实还有些研究用流形做子空间建模的）。稀疏模型研究方向主要包括系数求解（即上面那个问题，经典算法有OMP贪心、lasso凸松弛和l1/2l1/2非凸松弛），字典学习（获得更好的DD，经典算法有MOD和K-SVD交替迭代）和模型应用。字典学习显然稀疏表达的效果好坏和我们用的字典有着密切的关系。字典分两类，一种是预先给定的分析字典，比如小波基、DCT等，另一种则是针对特定数据集学习出特定的字典。这种学出来的字典能大大提升在特定数据集的效果。 　　给定训练样本X={xi∥ni=1X={xi∥i=1n，我们要所有样本在字典DD上有稀疏表达W={wi}ni=1W={wi}i=1n，所以优化目标是 minD,W∥X?DW∥2F,s.t.∥wi∥0≤s.minD,W∥X?DW∥F2,s.t.∥wi∥0≤s. ? 　　这个目标函数非凸，一般用交替迭代思想来解，即分别固定D和W，更新另一个，很多变种算法。目标函数分析起来比较难，所以这方面理论还比较弱，Agarwal,Gribonval等一帮人在搞。(X=DW)　应用方面往往稀疏表达和字典学习是混杂的，这里主要介绍下图像去噪、超分辨率和人脸识别，这三个例子效果都很好，貌似已经拿到工业界用了。学习模型