(整理)多元回归模型new..docx

精品文档 精品文档 精品文档 精品文档 多元回归模型 一、 模型的设定和求解 厂b。 Ex, b?X2 .… bkXk u u为扰动项 Y与X之间存在着线性关系，有关扰动项 u的假设和一元回归类 似。 若样本容量为n则模型可以写为： y厂bo鸟旳 b?X2i… q 模型可以用矩阵表示如下：Y二XB+U y bo b= b B : 1 1 ■ y2 丫 ： * 1 〔1 X- X11 X12 ■ III III Xk1 Xk2 * 1 1 ■ ■ + * f * * * 1 yn Xm III Xkn _bk Ui I I II U2 U二? Un n 1 n (k 1) (k i) i 利用最小二乘法求系数的解： 最小二乘的意思就是残差的平方和达到最小，也就是 Ui2 =、(y - yj2最小 宁 2 —匚 残差平方和 Ui _ Ui Ui 曰 u b = (丫- XB)-(Y - XB)二 丫― Y XB- B X Y B X XB 于疋=丫丫 -2B X* + B X-XB 注意根据矩阵的基本定理（AB）L=BA，则丫^XB二（B-X讦）-，而BXY 与Yxb都是1 1矩阵，故两者同值。对残差平方和求偏导，并令其为 J— | —A 零。 d』 d』u 2X? 2X XB 二 0 dB X? = X、XB B= (XLX)_1X Y 回归方程的显著性检验： 回归系数的显著性检验：t检验 的分布为:可以证明，在回归方程中自变量Xj的系数 的分布为: bjDe； 2 Cjj) cjj是矩阵（X^x厂1主对角线上的元素，由于二2无法直接得到，故 2 送（％ - yJ2 以样本残差来代替：二 ,因此可以t统计量来检验假 n - k -1 设 Ho: br 0 已：bj = 0 统计量Ij1) 统计量Ij 1) 回归方程的显著性检验: H o: bi = b^ 11 = bk = 0 运用F 运用F统计量 二、多重共线性 定义：回归模型中有两个或两个以上的自变量相关。 问题：当变量相关时， 回归系数的解会存在问题，一是完全无解， 二是系数不稳定。而且可能对参数估计的正负号产生影响。 （参数估 计的正负号与预期相反） 多重共线性的判别：见书 P363页 多重共线性的处理：变量选择法 三、虚拟自变量的回归 解释变量的分类： 定量变量：反映数量大小的变量；如收入，产量，价格，成本等。 一般用X表示。 定性变量：又称属性变量 ，很难直接度量其大小，如性别，种 族，职业，受教育水平，季节，战争，地震，罢工等。一般用 D表 示。 2.由于定性变量常指某一 “性质”或“属性”出现或不出现，因此 “量化”这些变量的一个方法是构造一个取值为 1或0的人为变量， 即： 1：具备某一属性； D 二 .0：不具备某一属性 取这样的1或0值的变量叫做虚拟变量(Dummy Variables)。 例： 「1：男 「1：大学毕业 D 二 ，； D 二 10：女 10：非大学毕业 方差分析模型(ANOVA) 当模型中的解释变量只有虚拟变量时，称为方差分析模型 (analysis of variance mode) 例：分析大学毕业生和非大学毕业生的初职年薪是否存在差异。 假设设定以下回归模型： 丫厂 b「b2Di ui 其中，Y表示初职年薪； f 1 :大学毕业 D 二 .0：非大学毕业 也应是说，对于大学毕业生而言，其 D = 1,代入模型中可得： 丫厂b「b^ Ui，其期望值为：E(YJ二bi b2 对于非大学毕业生而言，其 D = 0,代入模型可得： 丫厂bi Ui, 其期望值为：E(￡)二bi 也就是说，原模型是假设大学毕业生的初值年薪与非大学生的初 职年薪显著不同，其平均差距为虚拟变量 D的系数b2。 被赋予零值的那个类别被称为是基底或基准 (base benchmark), 也就是说，它被用于和其它类别比较的基础。共同的截距项 4就是 基底类的截距项。 虚拟变量D的系数b2被称为级差截距系数(differential intercept coefficien),它告诉我们取值为1的类别的截距值和基底类的截距值 相比有多少差别。 虚拟变量显著性检验：t检验显著表明虚拟变量被赋予 1值的分 类与基底类的差异是显著的 包含一个定量变量，一个虚拟变量的回归模型 在实际分析中，很少使用前面提到的方差分析模型，，更多的是用 到既有定量变量，又有虚拟变量作为解释变量的回归模型， 这样的回 归模型称为协方差分析模型（ANCOVA ）。 例：分析大学教师的工资的主要影响因素。 设定以下回归模型： 丫厂 b「bzDj bsXj a 其中，Y为大学教师的年薪；X为教龄; 「1：男教师； Di - i .0：女教师 这个模型认为，大学教师的年薪主要受两个因素的影响，一个