金准数据 深度学习与数学原理关系研究报告.docx

金准数据 深度学习与数学原理关系研究报告编制机构：金准数据发稿时间：2017-10-12在今年5月底，Alphago又战胜了围棋世界冠军柯洁，AI再次呈现燎原之势席卷科技行业，吸引了众多架构师对这个领域技术发展的持续关注和学习。思考AI如何做工程化，如何把我们系统的应用架构、中间件分布式架构、大数据架构跟AI相结合，面向什么样的应用场景落地，对未来做好技术上的规划和布局。为了彻底理解深度学习，我们到底需要掌握哪些数学知识？微积分、线性代数、概率论、复变函数、数值计算等等，这些数学知识有相关性，但实际上这是一个最大化的知识范围，学习成本会非常久。金准数据归纳了理解深度学习所需要的数学知识并对他们的关系进行梳理。一、数学原理在深度学习中的应用1、最小二乘法最小二乘法最初是由法国数学家勒让德（Adrien-Marie Legendre）提出的，他曾因参与标准米的制定而闻名。勒让德痴迷于预测彗星的位置，基于彗星曾出现过的几处位置，百折不挠的计算彗星的轨道，在经历无数的测试后，他终于想出了一种方法平衡计算误差，随后在其1805年的著作《计算慧星轨道的新方法》中发表了这一思想，也就是著名的最小二乘法。勒让德将最小二乘法运用于计算彗星轨道，首先是猜测彗星将来出现的位置，然后计算这一猜测值的平方误差，最后通过修正猜测值来减少平方误差的总和，这就是线性回归思想的源头。 在Jupyter notebook上执行上图的代码。 m是系数，b是预测常数，XY坐标表示彗星的位置，因此函数的目标是找到某一特定m和b的组合，使得误差尽可能地小。这也是深度学习的核心思想：给定输入和期望输出，寻找两者之间的关联性。2、梯度下降勒让德的方法是在误差函数中寻找特定组合的m和b，确定误差的最小值，但这一方法需要人工调节参数，这种手动调参来降低错误率的方法是非常耗时的。在一个世纪后，荷兰诺贝尔奖得主彼得·德比（Peter Debye）对勒让德的方法进行了改良。假设勒让德需要修正一个参数X，Y轴表示不同X值的误差。勒让德希望找到这样一个X，使得误差Y最小。如下图，我们可以看出，当X=1.1时，误差Y的值最小。如上图，德比注意到，最小值左边的斜率都是负数，最小值右边的斜率都是正数。因此，如果你知道任意点X值所处的斜率，就能判断最小的Y值在这一点的左边还是右边，所以接下来你会尽可能往接近最小值的方向去选择X值。这就引入了梯度下降的概念，几乎所有深度学习的模型都会运用到梯度下降。假设误差函数 Error = X5- 2X3- 2求导来计算斜率：下图的python代码解释了德比的数学方法：上图代码最值得注意的是学习率 learning_rate，通过向斜率的反方向前进，慢慢接近最小值。当越接近最小值时，斜率会变得越来越小，慢慢逼近于0，这就是最小值处。举一个神经网络被用来期望在当前游戏状态下每种可能的动作所得到反馈的例子。下图给出了文章中所提到的神经网络。这个网络能够回答一个问题，比如“如果这么做会变得怎么样?”。网络的输入部分由最新的四幅游戏屏幕图像组成，这样这个网络不仅仅能够看到最后的部分，而且能够看到一些这个游戏是如何变化的。输入被经过三个后继的隐藏层，最终到输出层。输出层对每个可能的动作都有一个节点，并且这些节点包含了所有动作可能得到的反馈。在其中，会得到最高期望分数的反馈会被用来执行下一步动作。确切地说，在定义了网络的结构之后，剩下唯一会变化的就只有一件事：连接之间的强弱程度。调整这些方式地权重，从而使得通过这个网络的训练样例获得好的反馈，可以选择通过将梯度下降与激励学习方法结合的方式。这个网络不仅仅需要最大化当前的反馈，还需要考虑到将来的动作。这一点可以通过预测估计下一步的屏幕并且分析解决。用另一种方式讲，可以使用(当前反馈减去预测反馈)作为梯度下降的误差，同时会考虑下一幅图像的预测反馈。3、线性回归线性回归算法结合了最小二乘法和梯度下降。在二十世纪五六十年代，一组经济学家在早期计算机上实现了线性回归的早期思想。他们使用穿孔纸带来编程，这是非常早期的计算机编程方法，通过在纸带上打上一系列有规律的孔点，光电扫描输入电脑。经济学家们花了好几天来打孔，在早期计算机上运行一次线性回归需要24小时以上。下图是Python实现的线性回归。梯度下降和线性回归都不是什么新算法，但是两者的结合效果还是令人惊叹。4、感知机感知机最早由康奈尔航空实验室的心理学家弗兰克·罗森布拉特（Frank Rosenblatt）提出，罗森布拉特除了研究大脑学习能力，还爱好天文学，他能白天解剖蝙蝠研究学习迁移能力，夜晚还跑到自家屋后山顶建起天文台研究外太空生命。1958年，罗森布拉特模拟神经元发明感知机，以一篇《New Navy Device Learns By Doing》登上纽约时报头条。罗森布拉特这