物理概念在数据分析中的实践应用---梯度.pdf

物理概念在数据分析中的实践应用：梯度 最近我在编写一些课件，写着写着，有些过去已经看到几百次的，但是却没认真留意的 概念引起了我的注意。 因为有些算法模型对大多数人来说偏应用为主，你只要会用就行。但是如果要讲出来， 让人听懂看懂，还真不是一回事儿。里面有很多概念，看似简单，想简单提一下然后就跳过 去，但是到了后面再写的时候，发现之前跳过去的概念又见面了，还真绕不过去。 于是我决定认真搞清楚这些概念的应用，也顺带做一下物理和数据分析之间的理解桥梁。 自打高中学地理，我就接触到气压梯度这个概念了。当时学到地表风力最大的地方， 就是水平气压梯度变化方向的位置。简单的说就是2 条相邻的等气压线的最短距离方向。 后来神经网络为代表的深度学习近几年热了起来之后，梯度下降法这个名词也跟着热 起来了。如果想了解啥叫梯度下降，网上有很多“共同的例子” ，就是说你如果要下山的话 选哪条线路最快，答案就是顺着相邻两条等高线最短距离的方向下山。 乍一看，这不是和高中地理学的地表风力最大方向一样嘛！ 其实，梯度本身就是一个被需求出来的量，因为其内在数学本质是一样的，所以应用 在不同的物理场景的规则当然也就一样了。 不过，众多论坛帖子里，很多都没有说明白为什么梯度方向，就是下山的最优方向。 我总结了下，大概是这个原因：大家好多非师范类出身，有些人搞懂了，但让他把纯数学 的概念直接应用到一个现实场景，结果变成了茶壶里煮饺子；要么就是没有搞明白理论的 一些基础知识，直接跳过基础知识急着发表意见，结果越说读者越糊涂。 我就曾经被这些高手们弄得头晕脑胀过，费了九牛二虎之力才算跨好几个知识场景把 他们串起来后，才弄清楚。因此这次我打算由浅入深的去说明白它。不然，接下来我在讲 解我用神经网络的多层感知器，去做《红楼梦》作者有多少个的分析判断时，为什么训练 集要用到梯度下降法进行训练，很多人都会犯一个毛病，知其然不知所以然。 为了搞清楚啥叫梯度，首先我们来做一个很大白话的一个问题提问：下面哪张图的斜 坡面AB 最陡峭？ 稍微有些生活常识的人都知道，（3 ）图最陡峭。因为它的斜坡面最短，或者说要从坡 底B 出发到A 处，走的路虽然少了，但爬坡的角度很接近直角。而 （1）图坡面最缓，主 要是因为爬坡角度小了，因此坡面也就最长。 现实生活中，我们判断哪些地方的地形是否陡峭，一般是很难去量它的坡面角度的， 比方说推一辆自行车上人行天桥，我们不回去量天桥的引桥有多少度。但是直观的观察它 们的坡面长度却很容易，坡面越长推车越省力！因此坡面长度也是一般我们用于地形判断 的一个很显性的选择依据。 我们接下来换个角度，再问一个问题：在同一个坡面修路，下面3 条线路方案，AB 、 AC 、AD ，哪条线路最陡峭？ 答案当然也很容易看出，AB 线路是最陡峭的，AD 最平缓。因为从B 出发到A 的路径 最短，几乎相当于高度差了；从D 出发到A 的路径最长。 我记得小学里面有篇课文 《挑山工》，里面就讲到泰山的一个挑山工走登山楼梯时就是 走斜线，虽然路走的多了，但这样最省力。一般游客可能不知道这个道道，因此直上直下 爬楼梯，就很容易疲劳。所以，类似AD 这样的线路坡度也就相来说是最平缓的方案。 这个时候再进一步延伸下，如果把上面问题稍微再深入一下，坡顶所在的平面和坡底 所在的平面假设是平行的，并且分别有其各自的海拔高度。假设坡底海拔40 米，坡顶海拔 50 米，那么从A 点出发，沿着斜坡面走到40 米海拔等高线上，怎么走才最快？ 有了刚才的问题铺垫，相信大家很快就能说出来，当然是从A 点沿斜坡面做一条垂直 于40 米等高线的垂线，这条垂线就是走的最快的路啦。没错，确实如此。假如上面的图片 中AB 就是那条垂线的话，那么AB 就是最快的路径了。 好，到此为止，一般网上的文章就直接引出了下面的结论“梯度下降方向就是沿着AB 走的方向，因为这个方向上下降的速度最快”。 这么说对是对，但却有很大的局限性。 对于现实场景都是三维可视的，因此站在低维度来理解梯度方向的概念是有帮助的。 不过在做数据挖掘时，我们会遇到很多高维度的问题，那可是画不出来，也没法做空间想 象的。这个时候“沿着梯度方向下降”你能说的清楚吗？很多网上的文章于是到此为止，没 有下文了。 因此，对我来说这个问题还没结束，因为我用多层感知器去做《红楼梦》作者分析判 断时，就遇到过特征是40+个维度的场景，简单的“上山下山” 的解释可满足不了我的疑 惑。 我