大数据数学基础第5章 数值计算基础 (2).ppt

则该问题的最小值点在其驻点处取得，驻点满足(式 5-8)，即(式 5-9)，其中 。 (式 5-8) (式 5-9) 可以根据(式 5-8)求出系数 ，由基函数的线性无关性可推得上面方程组的解也是唯一的。 设 是定义在 上的 n 个线性无关的连续函数，函数 f(x) 是在 上的 n 个节点 上给定的离散函数。最小二乘法实质是用 的线性组合 逼近 f(x)，使 f(x) 和 Q(x) 在各节点上的差的加权平方和(式 5-10)在由 的所有线性组合所组成的函数类中最小。 (式 5-10) 其中，权数 的原因是所测得的数据不一定是等精度的。 函数的最佳平方逼近 影响变量 y 的因素是多个，设为 ，给定的离散数据确定近似函数为(式 5-11)， 记 ，则(式 5-11)化为多变量拟合 。 (式 5-11) 由此可见，多变量拟合是可以互相转化的。使用最小二乘法就要确定近似函数 中的系数，使得其误差平方和达到最小。误差平方和如(式 5-12)所示。 (式 5-12) 数据的多变量拟合 与直线拟合类似，上式两边分别对各系数求偏导，然后令其为零，便得到正规方程组，如(式 5-13)所示。 (式 5-13) 因为 K k，且 线性无关，故方程组总有唯一解。 通过求解方程组(式 5-13)可以得到系数，然后将得到的系数 代入 ，便得到了多变量线性拟合函数。 数据的多变量拟合 对于指数方程 ，两边取对数，得 。 令 ， ，则 实际是有线性形式 。其误差平方和如(式 5-14)所示。 (式 5-14) 求得正规方程组为(式 5-15)。 (式 5-15) 由(式 5-15)可解出 s 和 ，再由 求出拟合函数