第2章多元线性回归.doc

第2章、多元线性回归 §1、假定 线性 yn×1=Xn×K?K×1??n×1 Xn×K = [x1 x2 …xK]，其中x1等是n维列向量，x1是全1列向量。又可以记为 y=x1?1? …+xK?K+? 对数线性模型: , 可以转化为 满秩(full rank) Rank(X) = K (可以推出nK) 例子: 非劳动收入＋薪水＋收入＋, rank（X）＝3， 正态性和独立性 合起来，表示为 __________________________________________________________________由条件分布计算无条件分布。 ，可以得到 , (方差分解公式: var(Y) = varX[E(Y|X)]+ EX[var (Y|X)] ) __________________________________________________________________ §2、最小二乘回归 , 称为扰动项(disturbance), 称为残差项(residual)。 普通最小二乘回归(Ordinary Least squares regression, 简称OLS) 等价于 使得取最小值的系数向量记为 一阶条件为： 。推出 （若满秩） 二阶条件： 是正定矩阵 __________________________________________________________________ 证明：因为 , 除非, 其中. 但是, 如果, 则, 即X线性组合等于0, 这与满秩矛盾. 证明结束。 __________________________________________________________________ ，log(x)= c(1)+c(2)*log(l1)+c(3)*log(k1) Dependent Variable: LOG(X) Method: Least Squares Date: 07/27/04 Time: 14:51 Sample: 1929 1967 Included observations: 39 LOG(X)= C(1)+C(2)*LOG(L1)+C(3)*LOG(K1) Coefficient Std. Error t-Statistic Prob. C(1) -3.937714 0.236999 -16.61488 0.0000 C(2) 1.450786 0.083228 17.43137 0.0000 C(3) 0.383808 0.048018 7.993035 0.0000 R-squared 0.994627 Mean dependent var 5.687449 Adjusted R-squared 0.994329 S.D. dependent var 0.460959 S.E. of regression 0.034714 Akaike info criterion -3.809542 Sum squared resid 0.043382 Schwarz criterion -3.681576 Log likelihood 77.28607 F-statistic 3332.181 Durbin-Watson stat 0.858080 Prob(F-statistic) 0.000000 §3、最小二乘估计的统计性质 再次回忆如下恒等式： , 称为扰动项(disturbance), 称为残差项(residual). b的分布 __________________________________________________________________ 以上给出了b的条件分布，下面给出b的无条件分布 __________________________________________________________________ OLS的代数性质 , 称为扰动项(disturbance), 称为残差项(residual). (1) 证明： (2) 证明： (3) ，M是对称矩阵和幂等矩阵。 容易证明：, (4) ， 证明： (5) , 称为投影矩阵 (6) (7) 的估计 所以 还可以证明：是的一个无偏估计. ______________________________________________________________