120-基于深度学习的计算机视觉技术（三）：深度学习模型的优化【萌萌家】.pdf

120|基于深度学习的计算机视觉技术（三）：深度学习模型的优化

2018-09-05洪亮劼来自北京

《AI技术内参》

在上一讲的分享里，我们聊了应用到图像上的一些最基本的深度学习模型，主要讨论了前馈神

经网络和卷积神经网络的定义，以及它们在图像处理上的应用。

今天，我们从优化的角度来讨论，如何对深度学习模型进行训练。可以说，模型优化是成功利

用深度学习模型的关键步骤。

一般机器学习模型的优化

要想了解深度学习模型的优化，我们首先得来看一看一般机器学习模型的优化。先了解一些基

本的步骤，我们在讨论深度学习模型优化的时候就能更容易地看清事物的本质。

在开始说模型优化之前，要说一点需要注意的问题，我觉得这一点对于初学者来说尤为重要，

那就是要区分开模型、目标函数和优化过程。这三个实体相互关联而且相互影响，我们需要对

每一个实体都有一个清晰的理解。

我们以线性模型作为例子，来感受下这三个实体的关系。

我们说一个模型是线性模型，是指我们期望利用一组特征（Feature）来对一个输出反馈进行

线性预测。这里的线性其实主要是指参数针对于反馈变量而言是线性的。

需要注意的是，线性模型是一个数学模型。线性模型的设置本身并没有限定这个模型的参数

（也就是模型的系数）是如何得来的，也就是数学模型本身的设置和得到参数的过程往往是互

相独立的。我们把得到参数的过程叫作模型训练或者简称为模型优化过程。

对于线性模型而言，我们常常利用最小二乘法来构造参数学习的目标函数。在最小二乘法的目

标函数下，一般情况下，我们既可以得到一个“解析解”（ClosedFormSolution），也能

通过例如梯度下降的方法来进行数值优化。

对模型、目标函数和优化过程这几个概念有了清晰的认识后，那具体的模型优化过程是怎样的

呢？

这里，我们就总结一下一般机器学习模型，主要是简单模型的优化过程。

模型优化的第一步就是选择目标函数。总的来说，简单的机器学习模型主要有两类目的，回归

和分类。对于回归而言，我们选择最小二乘法，也就是“平方损失”（SquaredLoss）作为

目标函数；对于分类而言，我们选择“对数几率损失”（LogisticLoss）。这两种损失和模型

是否是线性并没有直接的关系。当然，对于简单模型来说，模型往往是线性的。那么，当模型

是线性的，而目标函数又是我们刚才所说的这两类，这种情况下，我们找到的其实就是线性回

归和对数几率回归这两大基本模型。

当我们选择好了目标函数之后，下面一个步骤一般是尝试根据目标函数寻找参数的最优解。这

一个步骤我们往往需要根据参数尝试写出参数的梯度。对于简单的线性模型来说，这一步往往

相对比较容易。但是有一些模型，包括深度学习模型，梯度并不是那么直观就能够得到的。这

也就直接导致下面的步骤变得更加复杂。

得到梯度以后，一般来说，我们首先尝试有没有可能得到一个解析解。

有解析解，往往就意味着我们并不需要通过迭代的方法来得到一个数值优化的解。解析解往往

也不是近似解，而是一个确切的答案。当然，在真实的数据中，一些理论上的解析解因为数值

稳定性的因素依然无法得到。对于解析解来说，我们需要写出参数的梯度，然后尝试把等式置

零，然后看是否能够解出参数的表达式。这个过程并不一定对于每一个模型都适用。

如果我们没法得到解析解，就需要另外一个方法了，那就是利用数值计算来取得一个近似解。

在有了梯度信息以后，一种最普遍的数值计算方法就是梯度下降法。从原则上来说，梯度下降

是求一个函数最小值的数值流程。如果你需要求一个函数最大值的流程，那就需要梯度上升。

怎样才能保证梯度下降一定能够得到最优解呢？一般来说，梯度下降并不能保证找到函数参数

的最优解，往往只能找到一个局部最优解。对于凸问题（ConvexProblem）而言，局部最优

也就是全局最优。因此，从理论上说，梯度下降能够找到凸问题的全局最优解。当然，到底多

快能够找到这个最优解，也就是算法的收敛速度是怎样的，就又是另外一个问题了。

但是对于非凸（NonConvexProblem）问题而言，梯度下降仅仅能够收敛到一个局部最优

解，这个解是否能够被接受，还有待考证。

深度学习模型的优化

在这里，我们从普通的模型衍生出来，看一看深度学习模型的优化问题。

和普通模型一样，深度学习模型也需要一个目标函数来对参数进行有效学习。我们前面在介绍

深度学习模型的时候提到过，很多时候，深度模型都充当了更加复杂的特征提取器的角色。而

在最后一层的表达中，我们可以认为是在复杂特征后的线性模型。因此，我们依然可以使用回

归（或者说平方损失），抑或分类（或者说是对数几率损失），来对不同的问