定量研究方法论多变量回归.docxVIP

PAGE PAGE 10 1 2 3 引言 4 第七章 多变量回归 在单变量回归分析中，我们已经提到应该如何去看待残差。残差并不一定是 白噪音。残差只是因为研究者对其中的信息不加细究，而简单地把这些信息归类到 残差而已。如果现在研究者对残差中的信息感兴趣了，他就会增加自变量的个数。 相应地，残差中的信息会减少。因为有了新的自变量来解释应变量，我们对应变量 的理解也就加深了。多变量线性回归在单变量线性回归的基础上引入更多的自变 量。因为多变量线性回归秉承了单变量线性回归的拟合方法与假设检验的思想，我 们在本章将只作简单介绍。我们要重点介绍的是多变量线性回归所特有的一些方 面，包括自变量之间的关系、自变量的选择等等。 12 多变量回归的拟合 假如一个研究者对人们对信息源的偏好感兴趣，他意识到人们对信息源的使 用偏好不只决定于信息源的质量，还取决于信息的获取成本，在实证研究的数据收 集过程中，他就会收集这些信息。我们在这里把信息的获取成本简单地定义为用户 与信息源之间的物理距离。我们可以定义以下变量： 18 y=信息源使用偏好, x1=信息源质量 x2=信息获取成本22 所收集的数据就会有以下的格式： 其模型就会是： y x1 x2 3 4 5 7 5 1 4 4 3 2 4 6 5 7 4 … … … y i ? ? ? ? x 0 1 i1 ? x 2 i 2 ? 。 i 这种关系反映在空间分布上，表现为 y 分布在由 x1、x2 组成的平面的两侧。 y y ?i ? ?E(y ? 0 i i ) Response Surface 0 x (x , x ) 1 i1 i2 x 2 1 2 3 4 在?0的地方使用常量向量１，把以上５个样本点写成矩阵模型是： X β ε ?3? ?1 4 5? ?? ? ?7? ?1 5 1??? ? ??0 ? 5 ? ? ? ???0 ? ? 1 ? y ? ?4? ? ?1 4 3?? 1 ? ? ?? 2 ? 2 ??????? ? 2 ??? ? ? ? ? ? ?1 4 6? 2 ??5?? ??1 7 4?? 以上模型可以缩略成矩阵形式： y ? Xβ ? ε ? ? ? 3 ? ???? ? ? ? 4 对于一个样本，忽略?项，通过简单的矩阵运算可以得到： 9 b ? (XX)?1 Xy 10 其中： 11 ? 1? y ? ? 11 1 X ? 1 X ? ? ? ? 1 p ? ? X? y ? ? X 1 X X ? X X ? ? ? ? 1 ? ? ? 1 1 1 1 p ? 1 X y ? X? y ?, X X ? SSCP ? ? X2 1 X2 X1 ? X2 Xp ?。 ? 2 ? ? ? ? ? ? ? ? X? y ? ? p ? 2 ? X 1 X X ?p p 1 ? ? X X ? p p ?这样自变量的回归系数 b p p ? 系数可靠吗？它有没有把残差极小化，就象在最小二乘法中那样？答案是肯定的。 我们将不对此进行证明。感兴趣的读者可参看本章的附录。在这里，我们要强调的 是对这个结论的理解。 在这个解中，矩阵 X’X 对角线上的元素表示的是各 x 变量未经均值修正 （uncorrected）的方差和，非对角线上的元素则是 x 变量之间的积和（cross-product）。所 以，这个矩阵又叫方差和与积和矩阵（SSCP- sum of squares and cross-products matrix）。 直观地，如果我们把矩阵（X’X）的逆看作倒数，把 X’y 看作积和，b 是 X 与 y 的积和除 以 X 的方差和与积和，这和我们在单变量回归中所得到的结果（b1=SSxy/SSxx）是一致 的。 我们可以把 X’X 的逆记为： ? c c ? c ? ? 00 01 op ? ? c c ? c ? 14 (X X)?1 ? ? 10 11 1 p ? 。 ?? ? ? ? ? ? ? c?? c ? ? p 0 cp1 cpp ? 与单变量的情形类似，可以证明（略）每个自变量的回归系数： E(b i ) ? ? i , ? 2 (b i ) ? c ii 2 。 ? 当我们不知道? 2 时，我们代入它的样本估计量 MSE： ? E(b i ) ? ? , s 2 (b i i ) ? MSEc 。 ii 如果我们一样假定应变量服从单一的、独立的、均值为零的正态分布，我们就可以推得 bi/s(bi)服从 t 分布，从而检验关于 bi 的假设。 T wo- tailed test H : ? ? 0 i H : ? ? 0 i b b 1 test