LM和BFGS算法的性能分析与比较.docVIP

LM和BFGS算法的性能分析与比较 摘要：数值优化是机器学习的重要部分，不断研究和改进已有的优化算法，使其更快更高效，是机器学习领域的一个重要研究方向。作为数值优化算法中具有代表性的两个二阶算法，LM和BFGS算法各有优缺点，对它们的性能进行分析和比较给二阶数值算法的改进及更广泛的应用提供重要参考。 本论文从LM和BFGS算法的数学基础开始阐述，通过对比两个算法求解多个函数极小值的问题，我们发现LM算法和BFGS算法的差异并不大。大多数情况下LM算法能够达到更小的误差，但是迭代次数比BFGS算法稍多。对于等高线为椭圆的函数，LM算法的收敛速度通常比BFGS算法快，但是后期运算的迭代次数比BFGS算法多;而其他情况下LM算法和BFGS算法的收敛速度差别不大。由于LM算法在大部分情况下的极值求解效率稍高，我们实现了基于LM算法在前向神经网络中的学习，并用于解决模式分类问题。实验结果表明基于LM算法的前向神经网络在垃圾邮件分类应用中能取得90%以上的分类正确率。 关键词：数值优化，LM算法，BFGS算法，前向神经网络 第一章 绪论 1.1 研究背景 优化算法是用来求解问题的最优解或近似最优解的。我们在工程领域遇到的许多问题都可以建模成最优化模型来求解。大部分的机器学习算法本质都是建立优化模型，将学习问题转化为优化问题，通过数值优化算法对目标函数进行优化，从而训练出有效的结果。近年来，人工智能迅速发展起来，为能完成更多更复杂的智能应用，机器学习技术的发展备受期待。机器学习基于数据统计并严重依赖于数值优化算法的效率，如今智能应用中的计算量日益庞大，计算平台越来越强大，人们对速度、精度以及效率的追求不断提高。数值优化作为机器学习的一个重要支柱，对优化算法的改进和研究成为机器学习领域的重要课题[9,12]。从最流行的梯度下降法(Gradient Descent，GD)、牛顿法(Newtons method)、拟牛顿法(Quasi-Newton method)，到目前一些启发式算法如模拟退火算法(Simulated Annealing Algorithm，SAA)、粒子群优化算法(Particle Swarm Optimization，PSO)、差分衍化算法(Differential Evolution，DE)、遗传算法(Genetic Algorithm，GA)等。不同的算法都有各自的优点和局限性，针对不同的问题，结合问题需求选择适合的优化算法将对最终结果产生很大影响。对各有优势和局限性的优化算法性能进行仔细分析比较，不仅能帮助那些正在为如何选择合适的优化算法而发愁的人们，而且能给那些正在进行优化算法改进研究的人员们提供一些参考数据，从而设计出应用更广泛的新算法，以解决更具挑战性的机器学习问题。 数值优化算法可分为一阶算法和二阶算法，一阶优化算法如梯度下降法以及一些它的改进算法是神经网络里很常用的算法。一阶优化算法只需要计算一阶偏导数，计算量少算法简单，但有时候收敛速度很慢。如在目标函数(代价函数)较为平坦的区域，梯度的变化十分小使收敛速度会很慢。还有在深度神经网络中网络深度较深的情况下，其梯度可能消失而导致收敛速度缓慢对于这种情况进行二阶偏导寻优效果可能会更好。二阶的优化算法，如传统的牛顿算法是需要计算二阶偏导的，这使得计算量比一阶算法多，且复杂度和难度都升高。但是二阶算法却具有收敛速度快并且不容易陷入鞍点的优点。对于本论文中所研究的两个算法：LM(LevenbergMarquardt algorithm)和BFGS(Broyden-Fletcher-Goldfarb-Shanno algorithm)算法都是改进的二阶算法，不需要直接计算二阶偏导海森(Hessian)矩阵，而是计算拟海森矩阵或近似的海森矩阵，大大减小了计算复杂度，是目前较为受欢迎的两个二阶算法。其中LM算法通过引入阻尼系数正则化海森矩阵，不仅保证了海森矩阵正定可逆，并且避免在靠近鞍点的地方梯度向错误的方向移动[10]。而BFGS算法通过梯度迭代来近似海森矩阵的逆矩阵减少计算量[13]。对非线性优化领域具有代表性的LM和BFGS算法性能进行分析比较，将为今后优化算法的应用、改进和设计提供重要参考资料。 1.2 国内外研究现状 机器学习的主流是神经网络，为使得神经网络能够有更多更广泛的应用，机器学习领域的学者们也在努力进行优化算法的改进。 李南星、盛益强、倪宏分别采用LM、Adam和GD算法训练MLP模型，对比分析MLP模型的测试集MSE，确定使用LM算法的MLP模型提出一种基于CT图像准确预测颅骨声参数的方法。 Mohammad Mehdi Ebadzadeh和Armin Salimi