第一节、回归分析概述 - 实用回归分析.doc

回归分析与REG过程 前面我们介绍了相关分析，并且知道变量之间线性相关的程度可以通过相关系数来衡量。但在实际工作中，仅仅知道变量之间存在相关关系往往是不够的，还需要进一步明确它们之间有怎样的关系。换句话说，实际工作者常常想知道某些变量发生变化后，另一个相关变量的变化程度。例如，第六章中已经证明消费和收入之间有很强的相关关系，而且也知道，消费随着收入的变化而变化，问题是当收入变化某一幅度后，消费会有多大的变化？再比如，在股票市场上，股票收益会随着股票风险的变化而变化。一般来说，收益和风险是正相关的，也就是说，风险越大收益就越高，风险越小收益也越小，著名的资本资产定价模型（CAPM）正说明了这种关系。现在的问题是当某个投资者知道了某只股票的风险后，他能够预测出这只股票的平均收益吗？类似这类通过某些变量的已知值来预测另一个变量的平均值的问题正是回归分析所要解决的。 第一节 线性回归分析方法简介 一、回归分析的含义及其所要解决的问题 “回归”(Regression)这一名词最初是由19世纪英国生物学家兼统计学家F.Galton(F.高尔顿)在一篇著名的遗传学论文中引入的。高尔顿发现，虽然有一个趋势：父母高，儿女也高；父母矮，儿女也矮，但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身高的趋势。这一回归定律后来被统计学家K.Pearson通过上千个家庭成员身高的实际调查数据进一步得到证实，从而产生了“回归”这一名称。当然，现代意义上的“回归”比其原始含义要广得多。一般来说，现代意义上的回归分析是研究一个变量（也称为因变量Dependent Variable或被解释变量Explained Variable ）Independent Variable或Explanatory Variable ）的依赖关系，其目的在于通过自变量的给定值来预测因变量的平均值或某个特定值。具体而言，回归分析需要解决以下问题： 1．构建因变量与自变量之间的回归模型，并依据样本观测值对回归模型中的参数进行估计，给出回归方程。 2．对回归方程中的参数和方程本身进行显著性检验。 3．评价自变量对因变量的贡献； 4．利用所求得的回归方程对因变量进行预测，对自变量进行控制。 二、经典线性回归模型及其假设条件 在回归分析中，因变量Y和自变量X之间的关系通常可用以下带有条件期望的方程表示： （9.1） 其中为变量Y关于变量X（可以是一个变量，也可以是由多个变量构成的向量）的条件均值，为随机误差，称方程9.1为Y关于X的总体回归模型。由于条件均值是变量X的函数，所以可记为： （9.2） 其中为X的某个函数，方程（9.2）被称为总体回归方程，它表明了的条件均值与X之间的关系。 在回归分析中，关于函数的形式至关重要。若函数只含有一个自变量，则称为一元回归；若含有两个或两个以上的自变量则称为多元回归。若是的线性函数，即： （9.3） 其中、为未知参数，称为回归系数，则称方程（9.3）为线性回归方程，而方程： （9.4） 则称为线性回归模型。特别地，当模型中只有一个自变量时称为一元线性回归模型，其一般形式可表示为： + （9.5） 当模型中有P个自变量，，…，时称为P元线性回归模型，或多元线性回归模型，其一般形式可表示为： （9.6） 需要注意的是，回归分析中的“线性”一词一般是针对参数而不是针对自变量而言的。例如：方程=+关于自变量不是线性的，但关于参数、却是线性的，此时我们仍称为线性回归，而方程=+虽然关于自变量是线性的，但关于却是非线性的，则不能称其为是线性回归。类似地，方程=+也不是线性的。 对于P元线性回归，如果获得了自变量，，…，和因变量的一个容量为的样本{（，，…，，）| }，则每一组观测值（，，…，，）都应满足方程（9.6），从而有： =++ （ ） （9.7） 特别地，当P=1时一元线性回归模型有： =++ （ ） （9.8） 如果记，，，，则方程（9.7）可表示为以下矩阵形式： （9.9） 在经典的线性回归分析中，一般有以下假定： （1）随机误差项均值为0，即E（）=0； （2）对每个，随机误差项的方差均为，且各误差项之间相互独立，即： COV（，）=0，≠（ ），用矩阵表示为：E，其中I为阶单位阵； （3）自变量是非随机的确定性变量； （4）自变量和误差项互不相关，即COV（，）=0； （