求解非线性方程组的三种算法.docVIP

求解非线性方程组的三种算法 　　【摘要】对于非线性问题，大多数转化为非线性方程（组）来求解，具体的解决方法有牛顿法、割线法、延拓法、搜索法、梯度法、信赖域法、共轭方向法、变尺度法等.本文主要介绍求解非线性方程组的牛顿型算法、信赖域算法、遗传算法三种方法. 　　【关键词】非线性方程组；牛顿型算法；信赖域算法；遗传算法 　　一、引言 　　非线性科学在工业、农业、科学研究领域占有重要地位，绝大多数问题最终都能转化为非线性方程（组）的求解问题，传统的解决方法有：牛顿法、割线法、延拓法、搜索法、梯度法、信赖域法、共轭方向法、变尺度法等.本文着重介绍信赖域算法、牛顿型算法、遗传算法三种方法. 　　非线性方程组为 　　fj（x1，x2，…，xn）=0（j=1，2，…，m）.（1） 　　其中X=（x1，x2，…，xn）∈DRn，D={（x1，x2，…，xn）|ai≤xi≤bi，i=1，2，…，n}. 　　解非线性方程组一般分为两类方法：一类属于线性化方法，即把非线性方程组转化为一种近似的非线性方程组，构造出迭代格式，然后逐次接近准确解，达到满足精度要求就终止计算；一类属于求函数极值方法，即由非线性函数构造出一个目标函数，把方程组的求解问题转化为求目标函数的极值点问题.构造目标函数： 　　F（x1，x2，…，xn）=∑mi=1|fi（x1，x2，…，xn）|. 　　这样，在区域内求解非线性方程组问题（1）就转化为了函数优化问题： 　　minF（x1，x2，…，xn）s.t（x1，x2，…，xn）∈D.（2） 　　显然，满足F（x*1，x*2，…，x*n）=0的非线性方程组的解X*（x*1，x*2，…，x*n）就是函数优化问题（2）的最优解. 　　二、牛顿型算法 　　求解非线性方程组的线性化方法为： 　　xk+1=xk-[A（xk）]-1F（xk）（k≥1）.（3） 　　若取A（xk）= 　　SymbolQC@ F（xk），则得到求解非线性方程组的牛顿型迭代算法. 　　1牛顿法 　　牛顿法算法程序构造过程实际上是对非线性方程组（1）左端的非线性函数逐步线性化的过程.假定F：D∈Rn→Rn在开凸集内二次G-可导，且F″（x）在D内连续.设x*∈D是（1）式的解，x0∈D是x*的初始近似值.牛顿法虽然有收敛速度快和自校正等优点，但应用到实际计算中仍存在不少问题：迭代初始值x0要求与解x*很接近；每次迭代计算Jacobi矩阵F′（xk）和求解一个线性方程F′（xk）Δx=-F（xk），工作量较大；当F′（xk）奇异或是病态时，计算将无法进行下去.为了解决这些问题，牛顿法有了如下几种变形. 　　2修正牛顿法 　　修正牛顿法主要是针对牛顿法计算量较大进行简化和改进，将牛顿法收敛快和简化牛顿法工作量省的优点结合起来，得到如下迭代程序： 　　x0k=xkxik=xi-1kxk+1=xmk-[F′（xk）]-1F（xi-1k）（i=1，…m；k=1，2，3，…）.（4） 　　从xk计算到xk+1中间做m次简化，只需计算一次Jacobi矩阵F′（xk）和求一次逆矩阵[F′（xk）]-1，这种修正牛顿法具有m+1阶收敛速度. 　　3参数牛顿法 　　参数牛顿法是为了保证每一步迭代中的F′（xk）非奇异或非病态，而引入所谓的阻尼因子λk使F′（xk）+λkI（这里I为n阶单位矩阵）非病态，此时得到迭代程序为： 　　xk+1=xk-[F′（xk）+λkI]-1F（xk）（k=0，1，2，…）.（5） 　　当λk选得足够大，可以使矩阵F′（xk）+λkI对角占优，从而消除F′（xk）的奇异性，并具有局部收敛性. 　　4下降牛顿法 　　为了克服牛顿法的局部收敛，初始点x0选取要很靠近解x*，引入迭代参数，采用下降法思想具有大范围收敛的牛顿下降法，其迭代程序为： 　　xk+1=xk-ωk[F′（xk）]-1F（xk）（k=0，1，…）.（6） 　　其中0ωk≤1是迭代参数，可以证明迭代式具有大范围收敛性，但实际应用中选择ωk仍比较困难. 　　牛顿法及其改进形式是最基础、应用广泛的求解非线性方程组方法，但由于牛顿法需要每步计算函数的导数，若导数不能直接表示出来，则很难求解，且在实际应用中往往受到很多条件的限制，它的收敛性和性能特征在很大程度上依赖于初始点的选择；另外，牛顿型算法在处理某些形式比较复杂的非线性方程组时效果不好.因此，牛顿法的各种变型都是针对牛顿法的某一缺陷而考虑的，实际应用时只能根据要解决主要问题采取相应的策略. 　　三、信赖域方法 　　信赖域方法首先定义一个在当前点与目标函数近似的二次模型，利用目标函数在一定的区域内与二次模型的充分近似，取二次模型的最优值作为信赖域方法的下一个迭代点.其出