2015数学建模统计预测方法及预测模型教程分析.ppt

多元线性回归模型的参数估计 1. 普通最小二乘法(OLS) ?最小二乘法(OLS)的原理是通过求残差（误差项的估计值）平方和最小确定回归参数估计值。这是求极值问题。用Q表示残差平方和，求其最小值条件下的回归参数的估计值。 得到下列方程组 求参数估计值的实质是求一个k+1元方程组 （2）正规方程 最小二乘法的矩阵表示 （3）正规方程的结构 ——被解释变量观测值 nx1 ——解释变量观测值（含虚拟变量 nx(k+1) ） ——设计矩阵（实对称(k+1) x (k+1)矩阵 ） ——正规方程右端 (k+1) x 1 ——回归系数矩阵 (k+1) x 1 ——高斯乘数矩阵， 设计矩阵的逆 ——残差向量（ n x 1 ） ——被解释变量的拟合（预测）向量 n x 1 （4）最小二乘估计量的性质 线性（估计量都是被解释变量观测值的线性组合） 无偏性（估计量的数学期望=被估计的真值） 有效性（估计量的方差是所有线性无偏估计中最小的） 因为X的元素是非随机的，(X ‘X)-1X 是一个常数矩阵，由上式知 是Y的线性组合，为线性估计量，具有线性特性。 2) 无偏特性 1)　线性 3) 有效性 具有最小方差特性。 （5）随机误差项的方差 的估计量 若 已知，则 定义 则上式写为 矩阵M有如下性质：