线性回归的基本思想：双变量模型.pdf

线性回归的基本思想： 双变量模型 双变量线性回归模型  回归的含义 回归分析是用来研究一个变量(称之为被解释变量 (explained variable)或应变量(dependent variable) )与另 一个或多个变量(称为解释变量(explanatory variable) 或 自变量(independent variable) )之间的关系。  注意：虽然，回归分析是用来处理一个应变量与另一个 或多个自变量之间的关系，但它并不一定表明因果关系的 存在；也就是说，它并不意味着自变量是原因，而应变量 是结果。 双变量线性回归模型  回归分析可以用来： (1) 通过已知变量的值来估计应变量的均值。 (2) 对独立性进行假设检验（根据经济理论建立适 当的假设）。 (3) 通过自变量的值，对应变量的均值进行预测。 (4) 上述多个目标的综合。 * （注意(1)和(3)的区别） 双变量线性回归模型  总体回归函数：一个假设的例子 表5-1给出了这些消费者对widget 的需求量。（多次调查得到的55种调查结果，结果已被 穷尽。） （第二版的例子。描述的不妥当。所以第四版作了替换。我们对此例作重构，使之合理。） 双变量线性回归模型  数据作散点图(图5 - 1) 双变量线性回归模型  总体回归直线 （对均值做回归得到的） 可用函数的形式表示：  B1，B2为参数(parameters)，也称为回归系数(regression coefficients) 。B1又称为截距(intercept)，B2又称为斜率(slope)。斜 率度量了X每变动一单位，Y的均值的变化率。 双变量线性回归模型  总体回归函数误差的设定  其中，u 表示随机误差项(stochastic, random error term) i 或简称为误差项。  解释：在某一价格水平上Xi ，需求量可看做两部分之和：( 1) (B +B X )，总体的平均需求量，也即在此价格水平下总体回归直线 1 2 i 上相对应的点。这一部分称为系统的或确定的部分。( 2)ui ，称为非 系统的或随机的部分(也就是说，由价格以外的因素所决定)。 双变量线性回归模型  随机误差项的性质 (1) 随机误差项可能代表了模型中并未包括的变量的影响。 (2) 即使模型中包括了所有决定需求量的有关变量（其实这不可能），需 求量的内在随机性也一定会发生，这是我们做何种努力都无法解释 的。毕竟，即使人类行为是理性的，也不可以完全可预测的。正因为 如此，ui或许反映了人类行为中的一些内在随机性。 (3) ui 也可以代表测量误差，例如，对需求量Y的样本观察值，由于在数 据统计时的四舍五入，都不可避免地会产生误差。 (4) Occam的剃刀原则“简单优于复杂”—说明应该尽可能地简单，只要不 遗漏重要的信息。因此，应使我们建立的模型越简单越好。即使知道 其他变量可能会对Y有影响，我们也把这些次要的因素归入随机项 u 。 i 双变量线性回归模型  样本回归函数 由上述例子得到的样本 双变量线性回归模型  相应的回归直线 双变量线性回归模型  样本回归函数： 双变量线性回归模型 双变量线性回归模型  “线性”回归的特殊含义 （1）解释变量线性（见图5-5 ） （2 ）参数线性 双变量线性回归模型  多元线性回归(multiple linear regression)模 型 双变量线性回归模型  参数的估计：普通最小二乘法(ordinary least squares, OLS)  普通最小二乘法就是使RSS （residual sum of squares,残 差平方和，也即垂直距离平方和）最小化的过程。 双变量线性回归模型  参数的估计：普通