非线性规划-无约束问题的最优化方法.pptVIP

四、正交多项式拟合 第五节 无约束问题最优化方法的应用—最小二乘法 带权正交（离散情形） 给定点集 以及各点的权系数 ，如果函数族 满足 则称 关于点集 带权 正交 若 ?0, ?1, ?, ?n 是多项式，则可得正交多项式族 第五节 无约束问题最优化方法的应用—最小二乘法 设多项式 p0, p1, ?, pn 关于点集 x0, x1, ?, xm 带权 ?0, ?1, ?, ?m 正交，则 f(x) 在 Hn 中的最小二乘拟合多项式为 其中 k = 0, 1, …, n 误差 离散形式的 2-范数 第五节 无约束问题最优化方法的应用—最小二乘法 给定 和权系数 ，如何构造正交多项式族 可以证明： 关于点集 带权 正交 三项递推公式： k = 1, … , n-1 其中 ( k = 0, 1, … , n-1 ) ( k = 1, 2, … , n-1 ) 第五节 无约束问题最优化方法的应用—最小二乘法 可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行； n 可以事先给定，或在计算过程中根据误差来决定； 该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。 该方法是目前多项式拟合最好的计算方法，有通用程序。 第五节 无约束问题最优化方法的应用—最小二乘法 例：给定数据点及权系数，求二次最小二乘拟合多项式 1 1.96 0.6 1 2.19 0.7 3.00 2.71 2.44 1.75 1.00 yi 1 1.0 1 0.9 1 0.5 1 0 1 0.8 ?i xi 解： 通过直接计算，可得 Matlab 正交多项式最小二乘拟合函数: polyfit(x,y,n) Matlab 曲线拟合工具箱：cftool 第五节 无约束问题最优化方法的应用—最小二乘法 有时需要其它函数，如 ， 等拟合给定的数据，这时建立的法方程是一个非线性方程组，称这类拟合问题为非线性最小二乘问题。 6.53 1.50 7.45 1.75 8.46 5.79 5.10 yi 1.25 1.00 2.00 xi 1.7 0.7 1.6 0.3 1.8 0.4 1.3 1.9 2.0 1.1 0.6 yi 0.8 0.6 0.2 0.1 0.5 xi 例：用指数函数 拟合下面的数据 例：用函数 拟合表中的数据 第五节 无约束问题最优化方法的应用—最小二乘法 clc; x=[0.24,0.65,0.95,1.24,1.73,2.01,2.23,2.52,2.77,2.99]; y=[0.23,-0.26,-1.10,-0.45,0.27,0.10,-0.29,0.24,0.56,1.00]; fai0=log(x); fai1=cos(x); fai2=exp(x); z1=fai0.*fai0; z2=fai0.*fai1; z3=fai0.*fai2; z4=fai1.*fai1; z5=fai1.*fai2; z6=fai2.*fai2; G11=sum(z1) G12=sum(z2) G13=sum(z3) G22=sum(z4) G23=sum(z5) G33=sum(z6) fk1=sum(fai0.*y) fk2=sum(fai1.*y) fk3=sum(fai2.*y) clc; A=[6.7941,-5.3475,63.259;-5.3475,5.1084,-49.009;63.259,-49.009,1002.5]; b=[1.6131;-2.3827;26.773]; a=inv(A)*b 第五节 无约束问题最优化方法的应用—最小二乘法 * * 第 三 节 牛 顿 法 5. 修正牛顿法的算法步骤 第4步：进行一维搜索，求lk，使 计算x(k+1)作为下一轮迭代点， 令k=k+1，转第2步。 第1步：给定初始点 ，及终止误差 ，令k =0 第2步：求梯度向量 ，并计算 若 ，停止迭代，输出x(k)作为极小点的近似值，否则转到下一步。 第3步：构造牛