线性回归推导及实例.docxVIP

数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 ??INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/1.gif \* MERGEFORMATINET ?????????（2-1-1） ?我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 ?二、最小二乘法原理 ?如果把用回归方程INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/2.gif \* MERGEFORMATINET ?计算得到的INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/3.gif \* MERGEFORMATINET ?i值(i=1,2,…n)称为回归值，那么实际测量值yi与回归值INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/4.gif \* MERGEFORMATINET ?i之间存在着偏差，我们把这种偏差称为残差，记为ei(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/84.GIF \* MERGEFORMATINET ?????(2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/9.gif \* MERGEFORMATINET ?是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/10.gif \* MERGEFORMATINET ??????????????????? ????????????(2-1-3) 由(2-1-2)式，并考虑上述条件，则 INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/11.gif \* MERGEFORMATINET ????????????(2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/12.gif \* MERGEFORMATINET ???????????????????????(2-1-5) ???其中 INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/13.gif \* MERGEFORMATINET ???????????????????????(2-1-6) INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/14.gif \* MERGEFORMATINET ???(2-1-7) ????式中，Lxy称为xy的协方差之和，Lxx称为x的平方差之和。 如果改写(2-1-1)式，可得 INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/15.gif \* MERGEFORMATINET ??????????????????????(2-1-8) ????或 ??INCLUDEPICTURE \d 49/foundrymate/lessons/data-analysis/21/16.gif \* MERGEFORMATINET ??????????????????????(2-1-9)