高中数学最小二乘估计-课文知识点解析.docVIP

最小二乘估计-课文知识点解析 全析提示 经历了用不同估算方法描述两个变量线性相关的过程，我们探索最科学的描述方法，有一个非常直观的想法，即一个好的线性关系要保证这条直线与所有点都近.最小二乘法就是基于这种想法. 假设一条直线的方程为y=ax+b，任意给定一个样本点（xi，yi），我们用［yi－（a+bxi）］2来刻画这个样本点与这条直线之间的“距离”，用它来表示二者之间的接近程度（如图1－9－1）. 图1－9－1 如果有3个样本点，其坐标分别为（x1，y1），（x2，y2），（x3，y3），我们用最小二乘法推导3个点的线性回归方程. 设有3个点（x1，y1），（x2，y2），（x3，y3），则由最小二乘法可知直线y=a+bx与这3个点的接近程度由下面表达式刻画： ［y1－（a+bx1）］2+［y2－（a+bx2）］2+［y3－（a+bx3）］2. 这个表达式可以整理成关于a的一元二次函数f（a），如下所示： f（a）=3a2－2a［（y1－bx1）+（y2－bx2）+（y3－bx3）］+（y1－bx1）2+（y2－bx2）2+（y3－bx3）2. =3［a2－2a（－b）］+（y1－bx1）2+（y2－bx2）2+（y3－bx3）2. 利用配方法即得 f（a）=3［a－（－b）］2+（y1－bx1）2+（y2－bx2）2+（y3－bx3）2－ 3（－b）2. 从而当a=－b时，使得函数f（a）达到最小值. 将a代入第一个表达式，整理成关于b的一元二次函数g（b），如下所示： g（b）=［（x1－）2+（x2－）2+（x3－）2］b2－2b［（y1－）（x1－）+（y2－）（x2－）+（y3－）（x3－）］+［（y1－）2+（y2－）2+（y3－）2］. 同样使用配方法可以得到，当 b= =时，使得函数g（b）达到最小值. 从而可以得到3个点（x1，y1），（x2，y2），（x3，y3）的线性回归方程 y=－+. 同学们可以类似地讨论5个样本点、10个样本点、100个样本点的情况. 如果有n个点（x1，y1），（x2，y2），…，（xn，yn），可以用下面的表达式来刻画这些点与直线y=a+bx的接近程度： ［y1－（a+bx1）］2+［y2－（a+bx2）］2+…+［yn－（a+bxn）］2. 使得上式达到最小值的直线y=a+bx就是我们所要求的直线，这种方法称为最小二乘法. 如果用表示，用表示，则可以求得 b= = ① a=－b. （这两个公式的推导过程不在这里讨论，有兴趣的同学可以利用配方法试着进行推导） 这样得到的直线方程称为线性回归方程，a、b是线性回归方程的系数.其中，b是回归方程的斜率，a是截距. 推导公式①的计算比较复杂，这里不作推导.但是，我们可以解释一下得出它的原理. 假设我们已经得到两个具有线性相关关系的变量的一组数据（x1，y1），（x2，y2），…，（xn，yn），且所求回归方程是y=bx+a，其中a、b是待定参数.当变量x取xi（i=1，2，…，n）时，可以得到=bxi+a（i=1，2，…，n），它与实际收集到的yi之间的偏差是 yi－=yi－（bxi+a）（i=1，2，…，n）.（如图1－9－2所示） 图1－9－2 这样，用这n个偏差的和来刻画“各点与此直线的整体偏差”是比较合适的.由于（yi－）可正可负，为了避免相互抵消，可以考虑用来代替，但由于它含有绝对值，运算不太方便，所以改用Q=（y1－bx1－a）2+（y2－bx2－a）2+…+（yn－bxn－a）2. ② 来刻画n个点与回归直线在整体上的偏差. 这样，问题就归结为：当a、b取什么值时Q最小，即总体偏差最小，经过数学上求最小值的运算，a、b的值就是前面讲的公式. 通过求Q的最小值，而得出回归直线的方法，即求回归直线，使得样本数据的点到它的距离的平方和最小，这一方法叫做最小二乘法. 根据二乘法和公式①，利用计算器或计算机，可以方便地求出回归方程. 以Excel软件为例，用散点图来建立表示人体的脂肪含量与年龄的相关关系的线性回归方程，具体步骤如下： 1.在Excel中选定表示人体的脂肪含量与年龄的相关关系的散点图，在菜单中选定“图表”中的“添加趋势线”选项，弹出“添加趋势线”对话框. 2.单击“类型”标签，选定“趋势预测/回归分析类型”中的“线性”选项，单击“确定”按钮，得到回归直线. 3.双击回归直线，弹出“趋势线格式”对话框.单击“选项”标签，选定“显示公式”，最后单击“确定”按钮，得到回归直线的回归方程y=0.577x－0.448. 图1－9－3 用科学计算器求这个回归方程的过程如下： 所以回归方