第七章 曲线拟合与线性最小二乘问题1.ppt

* §1 线性最小二乘问题 一、最小二乘问题的一般提法 在实际应用中，经常遇到下列数据处理问题： 已知函数 在m个点上的数据表，寻求其近似函数。 设 的近似函数为 其中 是某函数族中的已知线性无关函数。 第七章 曲线拟合与线性最小二乘问题 /*Curve Fitting and Linear Least Square Problem*/ 称为 残向量 寻求一组常数 ，要求 的2-范数达到最小。 如果m=n，且 以及 即多项式插值 记 则得到最小二乘问题： 上述问题的解也称为方程组 的最小二乘解 当 时称之为超定（或矛盾）方程组。 所谓”曲线拟合”,是指根据给定的数据表,寻找一个 简单的表达式来”拟合”该组数据,此处的”拟合”的含义 为:不要求该表达式对应的近似曲线完全通过所有的数 据点,只要求该近似曲线能够反映数据的基本变化趋势. 二、最小二乘多项式拟合 引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24个纤维样品的强度与相应的 拉伸倍数的数据记录: 8.1 10 24 3.5 4.6 12 8.1 9.5 23 4.2 4.5 11 8 9 22 3.5 4 10 8.5 8.9 21 4 4 9 7 8 20 2.7 3.5 8 6.5 8 19 3 3.5 7 5.3 7.1 18 2.5 2.7 6 6 6.5 17 2.8 2.7 5 6.4 6.3 16 2.5 2.5 4 5.5 6 15 1.8 2.1 3 5 5.2 14 1.3 2 2 5.5 5 13 1.4 1.9 1 强 度 拉伸倍数 编号 强 度 拉伸倍数 编号 可以看出,纤维强度随 拉伸倍数增加而增加 并且24个点大致分 布在一条直线附近 该直线称为这一问题的数学模型。 因此可认为强度与 拉伸倍数之间的主 要关系是线性关系 怎样确定a,b,使得直线能较好地反映所给数据的基 本“变化趋势”? 一般情况 各点误差 总误差 令 问题转化为求参数 使 达到最小值。 这种求线性函数y=a+bx的过程称为线性拟合。 一般地，设 的近似函数为 寻求 ，使得 则称 为函数 的多项式拟合。 满足下列法方程组： ?非线性拟合（补充） 已知函数 在若干个点上的数据表，确定参数 和 ，利用经验函数 拟合某组数据： 某些非线性拟合问题可转化为线性拟合问题 线性化处理： 令 则 由线性拟合方法可得到 和 ，从而的到 和 又如：若非线性函数取为 令 其中 三、最小二乘问题解的存在性、唯一性 设 ，若存在 精确地满足 ，则称该方程组是相容的。 方程组 相容的充要条件是 证明： 如果 相容，则 满足 即 是 的列的线性组合 则 必是 的列的线性组合： 反之， 即 是方程组 的解。 引理7.1.1 设 ，且 则总存在分解 其中 满秩分解 证明： 记 ?不妨假设 的前 列 线性无关 令 其中 (满秩分解) ?对任何秩为 的矩阵，存在排列阵 ，使得 的 前列 线性无关，从而由?知： 其中 其中 因此，对任何 阶矩阵总存在满秩分解 二乘解的充要条件是 为方程组 的解。 是方程组 的最小 证明： 充分性 设 是 的解 对 ， 令 必要性 设 是方程组的最小二乘解 记 则 必使 达到极小 由极值的必要条件知： 即 称 为方程组 的法方程组 推论7.1.1 若 ，则方程组有唯一 的最小二乘解: 方程组