计算课程讲义1.doc

非线性方程组求解[完毕日期0９-8-2０]

ｏrwhereaｎｄ

迭代法

寻找一种数列使得

●迭代步长使得

●迭代终结（收敛）或者超过最大迭代次数(发散)

Ａlgｏritｈm

gｉｖen初始化，0，最大迭代次数ｍax?

repｅat

1.计算和…或者

2．if，return.

3.计算…或者

4．

unｔil＞max

牛顿迭代法n=1

Thisiscallｅdｔhelinｅａrｉzedequatｉｏn．

n1

其中

Uｎconsｔｒaｉneｄminｉｍizａｔｉoｎ无约束最优问题

ｃoｎveｘdiff

ｍｉn，其中

牛顿迭代法

其中

Ａｌgorithm

gｉｖen初始化，＞0,最大迭代次数mａx?

ｒepｅａｔ

1.计算和

2.ｉf,retuｒn.

３．计算

4．

ｕnｔiｌ＞ｍaｘ

Eqｕalｉtyconｓtraineｄminｉmiｚatiｏｎ等式约束最优问题

ｗith;ｃｏｎvｅxdｉｆf

,.min

,.

suｂjｅctｔo?

牛顿迭代法

，.

步长为

当为可行性解(）

内点法(prｉmａl-ｄualinｔeriｏr-pｏｉnｔmetｈｏds）

,KKT…ｍｉnimize

,

KKT…

sｕbjｅctｔｏ

其中conｖexｄiff;wiｔｈ.

我们要解如下非线性方程组

因此其中

因此

Ｔｈepｒimal-dｕalｓｅaｒｃｈｄiｒｅcｔion

线性方程组求解［完毕日期0９－8－2１]

ＬU分解；Ｃholeskｙ分解（)

i.e，QR分解

ｉ.e，QR分解;Ｃｈｏlｅsky分解

NonsinｇｕｌarmａtrixTheLUfacｔorizatｉｏn

?WherｅPisaｎ-pｅrmutaｔionmatrｉx,Lisauｎitlｏwｅｒｔｒｉanｇuｌaｒ

-matrix(ａlｏwerｔrianguｌａｒmaｔrixｗiｔｈdiａgｏnａｌelemeｎtｓｅｑｕaｌtooｎｅ),andＵisｎoｎsiｎgularuppertｒｉangｕlar-ｍａtrｉx.

PosiｔｉvedefinitｅｍatｒixTｈeＣholｅskyfactoｒiｚatioｎ

wｈereLｉslowerｔrｉaｎgularwiｔhpｏsiｔivediａgｏｎａｌelｅmｅｎts

ｍatｒｉｘｗithｚｅronuｌｌｓpａcｅTｈeQRfaｃtorｉｚaｔｉon

ＷhereＱｉs－oｒｔhogoｎaｌmａtrixaｎdRisaｎ－upperｔｒｉangｕｌａｒｍatrｉxｗiｔｈpoｓitｉvediａgonaｌelｅｍenｔs．

Trｉaｎｇularmaｔrix:ＡmaｔrixAisuppertｒｉａｎｇｕlarifｉf。Ａtｒiangｕｌaｒmａtｒｉxisｃalleｄnｏｎｓinguｌarifａllｔheｄｉagｏnaleleｍenｔｓarenｏnzｅro.Iｔissｉngｕｌａrifoneｏrｍoｒeofthedｉaｇonaｌeｌｅｍeｎtsａrezero.

Fｏrwaｒd／Backsuｂsｔiｔｕtion

Aiｓａｎoｎｓinｇularloweｒtrｉaｎgｕｌａrｍaｔrixｏfｏrdeｒn．are

解法

Ｆlｏｐｃoｕnｔ:1+3+5+…+(2n-１)=n2。

Foｒward／Baｃksｕbｓｔｉtutioｎ（Rｅｃurｓｉvefｏrmuｌation)

ｔheｎ

TheＣｈolesｋyfａctorｉｚatiｏn：Posｉｔivedefiniｔeｍatrｉx

pｏsitivｅdeｆiｎite:Aｉｓsｙmmeｔｒｉcaｎdｆｏrallnonｚerox.

,

whｅreLiｓlowerｔrianｇｕlaｒｗｉthpositｉvediagonａｌeleｍeｎtｓtｈerefｏre

ａndiｓｌowｅｒtｒianｇularwitｈｐoｓitivedｉagoｎaｌelｅｍeｎts．

ｍaｋｅｓ：

Ｔhｅｒｅfore,，．

Ｉnｆacｔ,.So,，andthａt