第七章最小二乘问题资料.ppt

第七章 最小二乘问题; 对于实际一组参数x1,x2…xn的值，（1）给出l+1维空间中的一个超曲面。第i个实验点（ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即相应的函数值：; 如何选择参数 x1…xn 使（2）达到极小这就是最小二乘法问题。上述问题用向量形式记为：;则上面问题可记为:min f(x)Tf(x) (3) (3) 即为最小二乘法问题一般形式。 当f(x)为线性向量值函数时，称（3）为线性最小二乘法问题。 否则，原问题称为非线性最小二乘法问题。; （3）是有n个变量的无约束极小化问题，一般可以用前面介绍的最优化方法求解。考虑到（3）的特殊形式，可以考虑更有效、更简单的方法求解。 f 的Jacobi矩阵：;; 主要计算量是 Sk 的计算，尽管Sk对称，也包含(1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含一阶导数的信息。因此为简化计算，我们或者忽略Sk，或者用一阶导数的信息逼近Sk。 由（4）可知，当 接近0或 fi(x)接近线性从而 接近于0，此时才可以忽略 Sk，因此这类算法又称为最小余量算法。 而称逼近Sk的一类算法为大余量算法。;7.2 线性最小二乘法