大数据数学基础第5章 数值计算基础.pptVIP

直线拟合算法步骤如下。 做出给定数据的散点图（近似一条直线）。 设拟合函数为： 。此处得到的 和 可能不相同，记它们的差为 ，称之为误差。在原始数据给定后，误差只依赖于 a，b 的选取，因此，可以把误差的大小作为衡量 a，b 的选取是否优良的主要标志。最小二乘法便是确定“最佳”参数的方法，也就是使(式 5-7)所示的误差平方和达到最小。 (式 5-7) 数据的最小二乘直线拟合 选择合适的 a，b，使得 φ(a , b) 最小，可使用求极值的方法，即分别对 a，b 求偏导，再使偏导等于 0 。就可得到正规方程组(式 5-8)。 (式 5-8) 求解正规方程组(式 5-8)，得出最优的 a，b，确定 的具体表达式。 数据的最小二乘直线拟合 定义 5-10 若在区间 上，对于 n 个函数 ，使得(式 5-9)成立的充要条件是 ，则称这 n 个函数 在 上线性无关。否则， 则称 在区间 上线性相关。 (式 5-9) 任何定义在 上的 n 个线性无关的函数 组成（即所有线性组合）的线性空间 是 n 维的，例如 是 n 维线性空间，它是由 所有次数不超过 n -1 的代数多项式组成的。这样的 也称为 n 维线性函数空间 Φ 的一组基函数。下面研究连续函数在空间 上的最佳平方逼近问题。 函数的最佳平方逼近 定义 5-11 设 及 的一个子集 ，在 Φ 中找一个函数 ，使其为优化问题(式 5-10)的解。 称为 f(x) 在 Φ 中的最佳平方逼近函数。 (式 5-10) 该问题与5.3.1中的最小二乘问题相比，只是把一些离散点上的误差平方和变为整个区间上误差平方的积分。为了求解该问题，将 写成 ，并记平方误差为(式 5-11)。 (式 5-11) 函数的最佳平方逼近 则该问题的最小值点在其驻点处取得，驻点满足(式 5-12)，即(式 5-13)，其中 。