回归直线方程的推导.docxVIP

回归直线方程的推导 回归直线方程的推导 回归直线方程的推导 山东 王加祥 范玉峰 设x与y是具有线性相关关系的两个变量，且相应于样本的一组观测值的n个点的坐标(x2，y2)，(x3，y3)，?，(xn，yn)，下面给出回归方程的推导． 分别是：(x1，y1)， ，2，3，?，n)． 设所求的回归方程为?显然，上面的各个偏差的符号有正、yi?bxi?a，(i?1 有负，如果将他们相加会相互抵消一部分，因此他们的和不能代表n个点与回归直线的整体上的接近程度，因而采用n个偏差的平方和Q来表示n个点与相应直线（回归直线）在整体上的接近程度， yi)2??(yi?bxi?a)2?(y2?bx2?a)2?(y3?bx3?a)2???(yn?bxn?a)2． 即Q??(yi?? 求出当Q取最小值时的a，b的值，就求出了回归方程． 一、先证明两个在变形中用到的公式 公式（一）?(xi?x)??xi2?nx，其中x? x1?x2???xn 证明：∵?(xi?x)2?(x1?x)2?(x2?x)2???(xn?x)2 ?x12?x2???xn?2nx 2(x1?x2???xn) ?(x?x???x)?2nx?nx?(x?x???x)??xi2?nx ∴?(xi?x)??xi2?nx． 公式（二）?(xi?x)(yi?y)??xiyi?nxy 证明：∵?(xi?x)(yi?y)?(x1?x)(y1?y)?(x2?x)(y2?y)???(xn?x)(yn?y) ?(x1y1?x2y2???xnyn)?(x1y?y1x?x2y?y2x???xny?ynx)?nxy ??xiyi?[(x1?x2???xn)y?(y1?y2???yn)x]?nxy (y?y2???yn)??(x?x2???xn) ??xiyi?n?1y?1x??nxy nn??i?1??xiyi?2nxy?nxy??xiyi?nxy， ∴?(xi?x)(yi?y)??xiyi?nxy． 二、推导：将Q的表达式的各项先展开，再合并、变形 Q?(y1?bx1?a)2?(y2?bx2?a)2?(y3?bx3?a)2???(yn?bxn?a)2 ?(y12?y2???ny2)?[2yx?a)?22y(ba)?]展开 1(b12x?? ??y?2b?xiyi?2a?yi?b ?2ab?xi?na2??合并同类项 xi???yi ?na2?2na?i?1?bi?1 ????nnn ??b2?xi2?2b?xiyi??yi2以a，b的次数为标准整理 ?i?1i?1i?1?? ?na?2na(y?bx)?b ?2b?xiyi??yi2??转化为平均数x，y ?n[a?(y?bx)]?n(y?bx)?b ?2b?xiyi??yi2??配方法 ?n[a?(y?bx)]2?ny?2nbxy?nb2x?b2?xi2?2b?xiyi??yi2??展开 ?n[a?(y?bx)]?b(?x?nx)?2b(?xiyi?nxy)?(?yi2?ny)??整理 ?n[a?(y?bx)]?b ?x)?2b?(xi?x)(yi?y)??(yi?y)2??用公式（一）、（二） (x?x)(y?y)?iin??n ??n[a?(y?bx)]??(xi?x)?b??(y?y)??配方 ?in ??i?1i?1 (xi?x)2???i?1?? (x?x)(y?y)(x?x)(y?y)?ii?ii?n???n2 i?1??22i?1???(xi?x)?b????n?a?(y?bx)?(y?y)???inn????i?1i?1 (x1?x)2(xi?x)2????i?1i?1?? 在上式中，共有四项，后两项与a，b无关，为常数；前两项是两个非负数的和，因此 要使得Q取得最小值，当且仅当前两项的值都为0．所以a?y?bx，b? ?x)(yi?y) ?nxy?nx ??用公式（一）、（二）变形得 上述推导过程是围绕着待定参数a，b进行的，只含有xi，yi的部分是常数或系数，用到 的方法有：①配方法，有两次配方，分别是a的二次三项式和b的二次三项式；②变形时，用到公式（一）、（二）和整体思想；③用平方的非负性求最小值．④实际计算时，通常是分 步计算：先求出x，再分别计算?(xi?x)(yi?y)，?(xi?x)或?xiyi?nxy