矩阵分解及无约束最优化方法.doc

 矩阵分解及无约束最优化方法 的原理和应用简介 摘要 应课程学习的需要，本文主要对矩阵分解中的分解、分解、乔列斯基分解，以及无约束最优化领域中的最速下降法、牛顿法、拟牛顿法的原理、步骤和算法进行了简要介绍，并对各种方法进行了Matlab编程实验，得到了较好的结果。 关键字：分解，分，、乔列斯基分解，最速下降法，牛顿法，拟牛顿法，Matlab编程。 【目录】 摘要 - 1 - 1 矩阵分解 - 3 - 1.1 矩阵的分解 - 3 - 1.1.1 定义 - 3 - 1.1.2 矩阵的分解过程 - 3 - 1.1.3 矩阵分解的应用 - 4 - 1.2 对称矩阵的分解 - 5 - 1.2.1 定义 - 5 - 1.2.2对称矩阵的分解过程 - 5 - 1.2.3对称矩阵的分解应用 - 6 - 1.3 对称正定矩阵的分解 - 6 - 1.3.1 定义 - 6 - 1.3.2 对称正定矩阵的乔列斯基分解过程 - 7 - 1.3.3对称矩阵的乔列斯基分解应用 - 7 - 2 无约束最优化方法 - 8 - 2.1 最速下降法 - 8 - 2.1.1 最速下降法的原理 - 8 - 2.1.2 最速下降法的步骤 - 9 - 2.1.3 最速下降法的应用 - 9 - 2.2 牛顿法 - 10 - 2.2.1 牛顿法的原理 - 10 - 2.2.2 牛顿法的步骤 - 12 - 2.2.3 牛顿法的应用 - 12 - 2.3 拟牛顿法 - 13 - 2.3.1 拟牛顿法的原理 - 13 - 2.3.2 DFP法 - 13 - 2.3.3 BFGS法 - 14 - 2.3.4 拟牛顿法的应用 - 15 - 3 总结 - 15 - 4 附录 - 16 - 4.1 矩阵分解的matlab程序： - 16 - 4.2 对称矩阵的分解 - 17 - 4.3 正定举证的乔列斯基分解 - 18 - 4.4 最速下降法 - 18 - 4.5 牛顿法 - 19 - 4.6 拟牛顿法 - 20 - 1 矩阵分解 1.1 矩阵的分解 1.1.1 定义 若阶矩阵的各阶顺序主子式 ， 则存在惟一的单位下三角矩阵和可逆的上三角阵，满足 ， 称该式为矩阵的分解。 1.1.2 矩阵的分解过程 矩阵的分解计算过程如下： 若对矩阵进行了分解，求解线性方程组，可以通过依次求解以下两个三角方程组： 来实现，而这两个方程组的求解只须前代和回带即可。 1.1.3 矩阵分解的应用 1.1.3.1 对矩阵进行分解 (1)问题描述 对矩阵 进行分解。 (2)用Matlab程序实现矩阵的分解 Matlab程序见附录3.1。 结果为： 1.1.3.2 分解在解方程组中的应用 (1)问题描述 解方程组 ， 其中 ； . (2)用Matlab求解方程组 Matlab程序见附录 结果为： 经验证，此解正确。 1.2 对称矩阵的分解 1.2.1 定义 设阶矩阵的各阶顺序主子式均不等于零，则存在惟一的单位下三角矩阵，对角矩阵和单位上三角矩阵，使得 特别地，当是对称矩阵时，，即矩阵可以唯一地分解为 ， 其中是单位下三角矩阵，是对角阵。 1.2.2对称矩阵的分解过程 对称矩阵的分解计算过程如下： 对矩阵进行了分解后，求解线性方程组，可以通过依次求解下列三个方程组 来实现。 1.2.3对称矩阵的分解应用 (1)问题描述 对矩阵 进行分解。 (2) 分解的Matlab程序实现 Matlab程序见附录3.2。 实验结果为： 1.3 对称正定矩阵的分解 1.3.1 定义 设是阶对称正定矩阵，则存在一个可逆的下三角阵，使得 . 当限定的对角元为正时，这种分解时惟一的，称该分解为矩阵的分解或乔列斯基(Cholesky)分解。 1.3.2 对称正定矩阵的乔列斯基分解过程 对称正定矩阵的乔列斯基分解计算过程如下： 将正定矩阵进行乔列斯基分解之后，求解线性方程组，可以通过依次求解一下两个三角形方程组： 来实现。 1.3.3对称矩阵的乔列斯基分解应用 (1)问题描述 对矩阵 进行乔列斯基分解。 (2)乔列斯基分解的Matlab程序实现 Matlab程序见附录3.3。 实验结果为： 2 无约束最优化方法 2.1 最速下降法 2.1.1 最速下降法的原理 最速下降法的搜索法向是目标函数的负梯度方向，最速下降法从目标函数的负梯度方向一直前进，直到到达目标函数的最低点。 已知目标函数在点的梯度为： 当求目标函数的最小点时，由于函数沿负梯度方向下降最快，故在点的探索方向应取该点的负梯度方向，即 显然，为单位向量。这样第次迭代计算所得的新点为 负梯度仅给出了最优化方向，而没有给出步长的大小，所以可能有各种各样的最速下降的过程，它们依赖于 的大小。 步长有两种取法： 一种方法是任意给定一个初始步长，使满足条件： 另外一种方法是沿负梯度方向做一