第五章--最小乘问题的解法.docVIP

第五章 最小二乘问题的解法 1.最小二乘问题 1)回归方程问题 ,是个实验点。现要根据这些点确定与个物理量之间的关系式。 设这种关系式为，其中是方程中需要待定的个参数(系数)。 因此问题是如何通过个实验点，确定方程中的系数。 由于实验点的个数大于待定系数的个数，因此方程中系数的确定是一个超静定问题，无法按一般的方法进行求解。 此时将实验点到曲面距离最短的那个曲面作为所求曲面，从而求取该曲面方程。 即求解，这就是最小二乘问题。 2)非线性方程组问题 求解非线性方程组可转化为求解如下形式的最小二乘问题。 显而易见，最小二乘法的一般形式可写为 最小二乘法问题实际上是具有个变量的无约束极小化问题，前面解无约束优化问题的方法均可应用。 但是最小二乘问题具有一定的特殊性，即目标函数的表达式是由多个表达式的平方和组成，理应有更、更有效的方法。这正是最小二乘解法要解决的问题。 2.线性最小二乘问题的解法 最小二乘法的一般形式可写为 特别地，当，即为线性函数时，则最小二乘问题可表示为： 1) 线性最小二乘问题解的条件 定理1:是线性最小二乘问题极小点的充要条件是满足。 证明：(1)必要性 令，于是有： 由于是一个数，而一个数的转置是它的本身，因此有： 故上式可化为： 若是的极小点，则必有，则必有： (2)充分性 若满足，即 考虑任一点，计算 由于上式第二