最优化方法一：梯度下降法.pdfVIP

最优化⽅法⼀：梯度下降法

⽬录

本⽂将从⼀个下⼭的场景开始，先提出梯度下降算法的基本想，进⽽从数学上解释梯度下降算法的原理，最后实现⼀个简单的梯度下降算

法的实例！

1梯梯度度下下降降

1.1梯梯度度下下降降的的场场景景假假设设

梯度下降法的基本想可以类⽐为⼀个下⼭的过程。假设这样⼀个场景：⼀个⼈被困在⼭上，需要从⼭上下来(i.e.找到⼭的最低

点，也就是⼭⾕)。但此时⼭上的浓雾很⼤，导致可视度很低。因此，下⼭的路径就⽆法确定，他必须利⽤⾃⼰周围的信息去找到下⼭

的路径。这个时候，他就可以利⽤梯度下降算法来帮助⾃⼰下⼭。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡

峭的地⽅，然后朝着⼭的⾼度下降的地⽅⾛，同理，如果我们的⽬标是上⼭，也就是爬到⼭顶，那么此时应该是朝着最陡峭的⽅向往

上⾛。然后每⾛⼀段距离，都反复采⽤同⼀个⽅法，最后就能成功的抵达⼭⾕。

我们同时可以假设这座⼭最陡峭的地⽅是⽆法通过⾁眼⽴马观察出来的，⽽是需要⼀个复杂的⼯具来测量，同时，这个⼈此时正

好拥有测量出最陡峭⽅向的能⼒。所以，此⼈每⾛⼀段距离，都需要⼀段时间来测量所在位置最陡峭的⽅向，这是⽐较耗时的。那么

为了在太阳下⼭之前到达⼭底，就要尽可能的减少测量⽅向的次数。这是⼀个两难的选择，如果测量的频繁，可以保证下⼭的⽅向是

绝对正确的，但⼜⾮常耗时，如果测量的过少，⼜有偏离轨道的风险。所以需要找到⼀个合适的测量⽅向的频率，来确保下⼭的⽅向

不错误，同时⼜不⾄于耗时太多！

梯度下降是⼀阶迭代优化算法。为了使⽤梯度下降找到函数的局部最⼩值，⼀个步骤与当前位置的函数的梯度（或近似梯度）的负值

成正⽐。如果相反，⼀个步骤与梯度的正数成⽐例，则接近该函数的局部较⼤值;该程序随后被称为梯度上升。梯度下降也被称为最陡峭的下

降，或最快下降的⽅法。

1.2梯梯度度下下降降

⾸先，我们有⼀个可的函数。这个函数就代表着⼀座⼭。我们的⽬标就是找到这个函数的最⼩值，也就是⼭底。根据之前的场景假设，

最快的下⼭的⽅式就是找到当前位置最陡峭的⽅向，然后沿着此⽅向向下⾛，对应到函数中，就是找到给定点的，然后朝着梯度相反的⽅

向，就能让函数值下降的最快！因为梯度的⽅向就是函数之变化最快的⽅向(在后⾯会详细解释)

所以，我们重复利⽤这个⽅法，反复求取梯度，最后就能到达局部的最⼩值，这就类似于我们下⼭的过程。⽽求取梯度就确定了最陡峭的⽅

向，也就是场景中测量⽅向的⼿段。那么为什么梯度的⽅向就是最陡峭的⽅向呢？接下来，我们从微分开始讲起。

1.2.1微微分分：：

看待微分的意义，可以有不同的⾓度，最常⽤的两种是：

函数图像中，某点的切线的斜率

函数的变化率

⼏个微分的例⼦：

上⾯的例⼦都是单变量的微分，当⼀个函数有多个变量的时候，就有了多变量的微分，即分别对每个变量进⾏求微分：

1.2.2梯梯度度

梯度实际上就是多变量微分的⼀般化。例如：

我们可以看到，梯度就是分别对每个变量进⾏微分，然后⽤逗号分割开，梯度是⽤包括起来，说明梯度其实⼀个向量。

梯度是微积分中⼀个很重要的概念，之前提到过梯度的意义

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率

在多变量函数中，梯度是⼀个向量，向量有⽅向，梯度的⽅向就指出了函数在给定点的上升最快的⽅向

这也就说明了为什么我们需要千⽅百计的求取梯度！我们需要到达⼭底，就需要在每⼀步观测到此时最陡峭的地⽅，梯度就恰巧告诉

了我们这个⽅向。梯度的⽅向是函数在给定点上升最快的⽅向，那么梯度的反⽅向就是函数在给定点下降最快的⽅向，这正是我们所需要

的。所以我们只要沿着梯度的⽅向⼀直⾛，就能⾛到局部的最低点！

1.3梯梯度度下下降降算算法法的的数数学学解解释释

下⾯开始从数学上解释梯度下降算法的计算过程和想。

此公式的意义是：J是关于Θ的⼀个函数，我们当前所处的位置为Θ0点，要从这个点⾛到J的最⼩值点，也就是⼭底。⾸先我们先确定

前进的⽅向，也就是梯度的反向，然后⾛⼀段距离的步长，也就是α，⾛完这个段步长，就到达了Θ1这个点！

下⾯就这个公式