非线性方程和非性方程组的解法.ppt

浙江大学研究生学位课程 《实用数值计算方法》 第四章 第四章 非线性方程和非性方程组的解法 ４.1 引言 　　在科学研究中，常常会遇到非线性方程 或非线性方程组的问题。例如解方程 　或 　一般的，我们记非线性方程为 4.2 非线性方程的解法  4.3 非线性方程组及牛顿法 4.4　最速下降法 4.5 共轭梯度法 （Conjugate Gradient Methods） 4.6 牛顿过程及变度量法 4.6.1 Newton--Raphson 迭代 　　把函数f(x)在第k次近似解 xk 附近进行 Taylor展开： 4.7 直接法（Simplex, Powell） 　　大量的目标函数是很复杂的，有时连解析式都没有，因而它的导数 　　　　　　　　?f(x) 　很难求，有时甚至不存在。 4.7.1 单纯形法　Simplex Method Nelder--Mead (1965)提出这种简单的方法。它不需要求导数（梯度） 对变元不多的情况是有效的。 程序简单。 4.8 方法的选择与总结 4.8.1 方法的选择 1.　原则： （1）有效性 （２）运算量 （３）存储量 2.　非线性代数方程 （１）二分法具有良好的有效性 （２）二次插值和有理插值运算 量少 （３）一般采用组合方法 第四章　习 题 4.6.3 变尺度法 Variable Matrix Methods 算法框图： 图 4.29 变尺度法算法框图 4.6.3 4.6.3 4.6.3 4.6.3 4.6.3 表4.5 各种方法比较 4.7.1 　　　　单纯形的思想是在n维空间的(n+1)个点 　　(它们构成单纯形)上引进函数值比较。丢弃 　　最坏的点并代之以新点。它们仍然构成单纯 　　形。以此逐步逼近极小点。 4.7.1 图 4.30 单纯形法中的反射 4.7.1 图 4.31 单纯形法中的延伸 4.7.1 4.7.1 图 4.32 单纯形法中的收缩 4.7.1 e) 缩小边长 图 4.33 单纯形法中的缩小边长 4.7.1 单纯形法（Simplex）框图： 解x*?x0 图 4.34 单纯形法计算框图 　　　　以上的迭代过程直到满足精度为止。 　　精度： 　　　　则x0作为所求的近似解。 4.7.2 Powelll 方法 　　　　 Powelll 方法是一种不依赖于目标函数 　　梯度的直接搜索法。 　　　　它逐步构造共轭方向并作为搜索方向， 　　因此Powell方法也是一种共轭方向法。 　　它的基本过程如下： 4.7.2 图 4.35 Powell搜索路径 表4.6 Powell 方法解题过程 5.0 2.5 4.7.2 4.7.2 Powell方法过程图示： 图4.36 Powell 方法计算过程图示 4.7.2 　 ? 循环上面(1)--(3)，直至P0点函数值不再减 　　 小为止。 　 ? 当循环k次(k?n)以后，un与它前面的k-1个 　　 向量 un-k+1,?,un-1共轭。因此对于二次函数， 　　 理论上只要循环n次即可求得极小值。即具 　　 有二次收敛性。事实上，因为 　　　　P0和Pn是沿相同方向un求得的极小值， 　　所以Pn?P0与un方向共轭。 图 4.37 共轭方向 4.5.2 4.5.10 4.5.2 4.5.2 　　　　共轭梯度法是从梯度向量出发构造 　　共轭向量。 　　* 由于误差积累等因素，对二次型，迭代 　　 n次也未能达到极小点。 　　* F-R方法和P-R方法的区别在于它们对二 次型是一样的。而对一般函数用P-R方法 　　 可能更合适。 　　* 共轭梯度法具有二次收敛速度。 　　　　那么对一般的函数的共轭梯度法 又是怎样的呢？ 4.5.2 　　在极小值点附近进行二次逼近： 4.5.2 　　　　但是求导数?f(xk)是必须的。 　　　　 另外，我们总假定f(x)在极值点附近 　　性质足够好，满足各种要求。 　　　　 对一般函数f(x)，共轭梯度法(4-23)有 限步收敛几乎是不可能的。如果迭代k 步 达到精度（k?n）,则xk就作为x*的近似。 当经过n步迭代仍不可能满足要求时，令 　　再进行第二次循环。 　　　　但是，实际计算中，不一定迭代 　　k=n 步才进行