深度学习进展及其在图像处理领域应用.docVIP

深度学习进展及其在图像处理领域应用 　　摘要：深度学习一般通过3种方式进行：有监督学习、无监督学习和混合深度学习。以“无监督或生成式特征学习”以及“有?O督特征学习和分类”为例，讨论了深度学习及其在图像处理等领域的进展及未来可能的研究方向。认为深度学习打破了传统机器学习和信号处理技术普遍基于浅层结构的局限。得益于相关非凸优化等问题的逐步解决，深度学习已经在图像处理等领域取得了一些突破性的进展。 　　关键词： 深度学习；图像处理；分层结构 　　在过去10年左右的时间里，深度学习对信息技术的许多方面都产生了重要影响。诸多关于深度学习的描述普遍存在两个重要的共同点：包含多层或多阶非线性信息处理的模型；使用了连续的更高、更抽象层中的监督或无监督学习特征表示的方法。深度学习是以神经网络为基础，包含人工智能、图模型、最优化等技术在内的交叉领域。它之所以如此受关注，主要源于3个方面：芯片硬件处理性能的巨大提升，为深度网络的复杂计算提供了基础；用于训练的数据呈爆炸性增长，为复杂网络的学习提供了可能；机器学习和信息处理等方面研究取得了很大进展。 　　1 深度学习的发展 　　以前，绝大多数机器学习和信号处理技术都是基于浅层结构，如高斯混合模型（GMM）、线性或非线性动力系统、条件随机场（CRF）、最大熵模型（MaxEnt）、支持向量机（SVM）、逻辑回归（LR）、核回归以及多层感知器（MLP）等。这些结构一般包含最多一到两层的非线性特征变换。已有研究表明：浅层结构在解决简单的或者约束较多的问题上效果明显，但是由于其建模和表示能力有限，在对实际应用中一些较为复杂自然信号（比如人类语音、自然声音和语言、自然图像和视觉景色）进行处理时会遇到一些困难。人类的听觉和视觉信息等的处理机制一般可以用深度结构描述，通过该结构可以从感官输入信息中提取复杂结构并构建内部表示。如果能实现有效和高效的深度学习算法，那么对于各种自然信号的处理技术而言，其性能会得到很大提升。 　　深度学习的概念一般被认为来源于对人工神经网络的研究。前馈神经网络或具有多隐层的多层感知器是深度神经网络（DNN）的典型模型。反向传播（BP）算法是解决其学习问题的广泛运用的典型算法。遗憾的是，仅仅使用BP算法在实际学习隐层数目较多的网络时往往效果不是很好[1]。在优化目标为非凸函数的深度神经网络学习中，通常存在局部最优解等问题。BP算法基于局部梯度信息，往往从一些随机的初始点开始寻优，当使用批量梯度下降或随机梯度下降的BP算法时，目标函数经常会陷入局部最优。随着网络层数的加深，局部最优的情况也就会变得越来越严重。虽然相关研究者对小规模的神经网络的探究从未间断过，但是在很多机器学习和信号处理方法中，研究者们将研究重点从对神经网络本身的研究转移到对具有凸损失函数的浅层模型的研究，这些模型以降低建模准确度为代价，达到快速高效地收敛到全局最优化的目的。所以，深层网络本身还存在着易于陷入局部最优等缺陷，有待于进行更深入的研究。 　　Hinton等在2006年左右提出了一种高效的基于深度置信网络（DBN）的无监督学习算法[2-3]，他们利用经验性的方法处理了与深度模型相关的最优化难题。DBN是一种深度生成式模型，由一组受限玻尔兹曼机（RBMs）堆叠而成，它的核心部分是贪婪式的逐层学习，这种算法可以最优化DBN中的权重，且其时间复杂度与网络的大小和深度呈线性关系。最近，相关研究者对于DNN与DBN进行了更加细致的研究，如可使用DBN来初始化DNN的权值等。在DNN中，多隐层的使用不仅显著提高了网络的表示能力，而且可得到一些较优解。然而，在训练过程中使用深而宽的神经网络需要依赖于强大的计算性能。随机梯度下降（SGD）算法就是一种在训练集较大且冗余的情况下较为有效的学习算法[4]。已有的研究表明：SGD可以有效地实现并行方式的运算。该并行运算主要通过两种方式实现：一种方式是通过异步模式使用多台计算机[5]；另一种方式是使用多图形处理器（GPU）的流水线型的BP算法[6]。另外，从单个或小批量样本中估计得到的随机性梯度使得SGD通常能跳出局部最优解。其他的一些学习算法，如Hessian free[7]、Krylov subspace[12]方法等，都表现出了类似的学习能力。对于DNN学习中涉及的非凸优化问题，更好的参数初始化和学习技术都会学习出更好的模型。 　　DBN预训练并不是唯一可对DNN进行有效初始化的方法。基于降噪自动编码器的方法对DNN进行逐层地预训练，将每两层视为一个降噪自编码器，该编码器再通过将输入节点的随机子集设置为零进行正则化[1，8]。另一种方法则是使用压缩自编码器[14]，该编码器通过使输入变量具有更好的鲁棒性来达到同样的目的。此外，Ranzato等开发了稀疏编码对称机（SES