最小二乘法是精选.pdf

三、最小二二乘法 最最小二乘法是是根据最小二二乘准则，利利用样本数据据估计回归方程的一种方法法。 （一）残差 设设 是被解解释变量的第第 次样本观观测值， 是是相应的第 次样本估计计值。将 与 之之间的偏差记记作 称 为第 次次样本观测值的残差。 （二）最小二二乘准则 使使全部样本观观测值的残差差平方和达到到最小，即 来确确定未知参数数 估计量量的准则，称称为最小二乘乘准则。 （三）最小二二乘估计量 未未知参数 的最最小二乘估计计量 的计计算公式为 最最小二乘估计计量的推导 设设残差平方和和 其中中 它是是 阶残差列向量。 为为了得到最小小二乘估计量量 ，我们对对上式进行极极小化 移项项后，得正规规方程组 根据据基本假定 5.， 存在，用 左乘乘正规方程组组两边，得 的最小二乘估 计量量 式 （四） 的的无偏估计量量 随随机误差项 的方差 的无偏估计计量为 称作作回归估计的的均方误差，而 称作作回归估计的的标准误差。 （五） 的的方差 其中中， ，于是每每个 的方方差为 ，而 是矩阵 对角线上对对应 的第第 个元素素， 。。 （六） 方方差的估计量 方差的估计计量为 则每每个 方差的估计量为 ， 标标准差的估计计量为 ， 四、拟合优优度检验 拟拟合优度检验验是样本回归归方程 对样本本观测值 拟合程度度的检验。 （一）总离差差平方和的分分解公式 其中中 — 总离差差平方和， — 回归平平方和， — 残差平平方和。 于是是，可以将平平方和的分解解公式写成离差形式 （二）多元样样本决定系数数 1.多元样本决决定系数 所所谓多元样本本决定系数 ，也称多多元样本判定系数或多元样样本可决系数数，是指被解解释 变量量 中的变异异性能被样本本回归方程解解释的比例，即 22. 修正的样本决定系数 与 有有如下关系： 在在样本容量一一定的情形下下，可以看出出 有性质质： ((1) ， ； （2 ） 可能出现负值。。例如， ， ， 时， 。显然负 的拟拟合优度没有有任何意义，在这种情形时，我们取 。 （三）三个平平方和的计算算公式 于是是有 因因为 ，所以 。 作为为度量回归值值 对样本观观测值 拟合优 度的的指标，显然然 的数值越大越好。 的数值越越接近于 1，表示 中的的变异性能被被估 计的的回归方程解解释的部分越越多，估计的回回归方程对样样本观测值就就拟合的越好好；反之，