多元回归模型1概览.doc

多元回归模型 一、为什么要引入多元回归 影响因变量的自变量不只一个 例子1、 的解释：在资本投入不变的情况下，劳动投入变动对经济增长的影响。 的解释：在劳动投入不变的情况下，资本投入变动对经济增长的影响。 例子2、 的解释： 在国民收入不变的情况下，汇率水平变动对进口的影响。 的解释：在汇率水平不变的情况下，国民收入变动对进口的影响。 二、多元回归的最小二乘法 1、模型 若被解释变量与个解释变量存在线性关系，可建立如下线性多元模型： 或表示为： 可以用矩阵表示为： 其中： 2、假设 （1）随机误差项非自相关，每一误差项满足均值为0，方差相同且为有限值。 ， （2）解释变量误差项相互独立。 （3）解释变量之间线性无关。 （4）非随机变量。 以上假定在纯数学的意义是保证估计参数有唯一的解，同时保证了良好的统计特征。 3、估计 上式中，利用了（1×T）（T×K）（K×1）＝（1×1）是一个标量，它的转置矩阵不变： 求偏导： 上式中，利用了矩阵导数： 则： 由假定是一个非退化矩阵，其逆矩阵存在，因此有： 因为其二阶条件，因此是使方差最小化的解。 估计的回归模型写为： 其中称为估计的回归函数， 为估计值的列向量，为残差列向量。 4、估计参数的若干性质 （1）线性无偏性 （2）最小方差。（高斯－马尔可夫定理，证明略） 估计量为最佳线性无偏估计量。 （3）估计量具有渐进无偏性和渐进有效性。。 样本足够大时，估计量的概率极限为，为的一致估计量。 残差的方差 随机误差项方差的无偏估计量定义为： 其中为样本容量，为待估计参数的个数。（样本残差有个自由度） 6、可决系数 总平方和： 回归平方和： 残差平方和： 有： 1）多重可决系数： 越接近1，估计的回归函数的拟合优度越好。 2）调整后的决定系数。 对于给定的，解释变量的个数越多，则回归残差越小，从而决定系数越高，为考虑模型中的解释变量的个数对的影响，定义调整的决定系数： 当在模型中增加解释变量时，回归残差变小，同时变小，从而使得回归残差的变小得到一定的补偿。 7、回归函数的假设检验。 （1）OLS估计量的分布 Y为U的线性函数，由于假定u服从正态分布，即：，因此有： （2）回归参数的检验 A、提出原假设： 备选假设： B、计算 C、给出显著水平，查自由度为的分布表，得临界值。 显著水平可以根据实际情况选取，如1％、5％、10％等。 D、作出判断。 如果，接受原假设。 如果，拒绝原假设，接受备选假设。 P-值：假设不被拒绝的最大显著程度 置信区间 与t检验的关系 如果在95%的置信区间中，在双侧检验中在5%的显著程度我们不能拒绝假设；反之，如果在双侧检验中在5%的显著程度我们不能拒绝假设，则一定在95%的置信区间中。 （3）方差分析 思想：检验是否所有的参数中至少有一个参数显著异于0。 A、提出假设 零假设： 备选假设： B、构造统计量： 分别为回归均方与误差均方 C、设定检验水平，则检验规则为： 若，接受 若，拒绝 统计量越大，说明估计的参数等于0的概率越小。 P-值：假设不被拒绝的最大显著程度 F值与的关系 由F值的定义式，分子分母同时除以SST，有： F值与同方向变化，越大，F值就越大，当＝1时，F趋于无穷大。 8、多元模型的选择——检验 思想：利用检验来检验模型中的某些参数是否满足某种约束条件，如是否可以去掉某些参数从而简化模型，从而选择一个最优的模型。 以简化模型为例： 把所有可能影响被解释变量的变量全部纳入模型回归，可以得到一个没有约束的回归残差。 把若干（一个或多个）解释变量去掉，重新回归，得到一个有约束的回归残差。（去掉几个变量，就意味着增加了几个约束条件） 计算检验量：。其中为约束条件的个数，为样本容量，为无约束模型的待估计参数的个数。 检验量计算式上下同时除以，也可以变化为由决定系数表示的形式 选择显著性水平，检验规则为： 若，接受约束条件，即模型的简化是可行的 若，拒绝接受约束条件，即模型的简化是不可行的 注意：原假设为约束条件成立。 9、多元回归举例 例1：1958－1972年台湾地区农业部门的柯布－道格拉斯生产函数。 柯布－道格拉斯生产函数形式为，估算时需做变换，变换为对数线性模型进行估算。取对数，有：。 回归结果为: LOG(Y) = -3+ 1.498766864*LOG(LABOUR) + 0.4898584704*LOG(CAPITAL) (-1.363) (2.777)