机器学习和深度学习核心知识点总结写在校园招聘即将开始时.PDFVIP

机器学习与深度学习核心知识点总结 写在校园招聘即将开始时 SIGAI 2018.8.8 原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于 商业目的。 一年一度的校园招聘就要开始了，为了帮助同学们更好的准备面试，SIGAI 在今天的公 众号文章中对机器学习、深度学习的核心知识点进行了总结。希望我们的文章能够帮助你顺 利的通过技术面试，如果你对这些问题有什么疑问，可以关注我们的公众号，向公众号发消 息，我们将会无偿为你解答。对于不想在近期内找工作的同学，阅读这篇文章，对加深和巩 固机器学习和深度学习的知识也是非常有用的。 数学 1.列举常用的最优化方法 梯度下降法，牛顿法，拟牛顿法，坐标下降法，梯度下降法的改进型如AdaDelta，AdaGrad ， Adam ，NAG 等。 2.梯度下降法的关键点 梯度下降法沿着梯度的反方向进行搜索，利用了函数的一阶导数信息。梯度下降法的迭 代公式为： x x f x   k 1 k k 根据函数的一阶泰勒展开，在负梯度方向，函数值是下降的。只要学习率设置的足够小， 并且没有到达梯度为0 的点处，每次迭代时函数值一定会下降。需要设置学习率为一个非常 小的正数的原因是要保证迭代之后的 位于迭代之前的值 的邻域内，从而可以忽略泰 x x k 1 k 勒展开中的高次项，保证迭代时函数值下降。 梯度下降法只能保证找到梯度为0 的点，不能保证找到极小值点。迭代终止的判定依据 是梯度值充分接近于0 ，或者达到最大指定迭代次数。 梯度下降法在机器学习中应用广泛，尤其是在深度学习中。AdaDelta ，AdaGrad ，Adam ， NAG 等改进的梯度下降法都是用梯度构造更新项，区别在于更新项的构造方式不同。对梯 度下降法更全面的介绍可以阅读SIGAI 之前的公众号文章“理解梯度下降法”。 3.牛顿法的关键点 牛顿法利用了函数的一阶和二阶导数信息，直接寻找梯度为0 的点。牛顿法的迭代公式 为： 1 xk 1 xk  Hk gk 其中H 为Hessian 矩阵，g 为梯度向量。牛顿法不能保证每次迭代时函数值下降，也不 能保证收敛到极小值点。在实现时，也需要设置学习率，原因和梯度下降法相同，是为了能 够忽略泰勒展开中的高阶项。学习率的设置通常采用直线搜索（line search）技术。 在实现时，一般不直接求Hessian 矩阵的逆矩阵，而是求解下面的线性方程组： H d g k k 其解d 称为牛顿方向。迭代终止的判定依据是梯度值充分接近于0 ，或者达到最大指定 迭代次数。 牛顿法比梯度下降法有更快的收敛速度，但每次迭代时需要计算Hessian 矩阵，并求解 一个线性方程组，运算量大。另外，如果Hessian 矩阵不可逆，则这种方法失效。对牛顿法 更全面的介绍可以阅读SIGAI 之前的公众号文章“理解牛顿法”。 4.拉格朗日乘数法 拉格朗日乘数法是一个理论结果，用于求解带有等式约束的函数极值。对于如下问题： min f x  