数理统计与随机过程ch9.ppt

§9.4 多元线性回归 在实际问题中，随机变量Y 往往与多个普通变量x1, x2, …, xp ( p1)有关。对于自变量 x1, x2, …, xp的一组确定值, Y 都有确定的分布。若Y 的数学期望存在, 则它是x1, x2, …, xp的函数，记为μ (x1, x2, …, xp), 它是Y 关于x的回归函数。在这里, 仅讨论 μ (x1, x2,…, xp)是 x1, x2,…, xp 的线性函数的情况, 即多元线性回归模型： 设 化简(4.4)式，得 (4.5)式称为正则方程组。为求解方便，将(4.5)式写成矩阵方程的形式。为此，引入矩阵： 于是，(4.5)式可写成 这就是正规方程组的矩阵形式。在(4.5)′两边左乘 (设 存在)，得到(4.5) ′的解 这就是我们要求的 ( )′的最大似然估计。 例1：下面给出了某种产品每件平均单价Y(元)与批量x(件)之间的关系的一组数据 散点图如下： 来拟合Y 与 x 的关系。现在来求回归方程。 我们选取模型 这是一个二元线性回归模型， 经计算 像一元线性回归一样，模型(4.1)往往也是一种假定。为考察这一假定是否符合实际观察结果，还需进行以下的假设检验： 另外，与一元线性回归一样，多元线性回归方程的一个重要应用是确定给定点(x01, x02, …, x0p)处对应的Y的观察值的预测区间。 实际问题中，与 Y 有关的因素往往很多，如果将它们都取作自变量必然会导致所得到的回归方程很庞大。实际上，有些自变量对Y 的影响很小，如果将这些自变量剔除，不但能使回归方程较为简洁,便于应用，且能明确哪些因素(即自变量) 的改变对 Y 有显著影响，从而使人们对事物有进一步的认识。通常可用逐步回归法达到这一目的。上述关于模型的线性假设的检验、观察值的预测区间、逐步回归等内容，读者可参阅华东师大出版社出版的《回归分析及其试验设计》一书。 实际问题中，需要考虑的影响 Y 的因素较多，即自变量的个数较多。因此，要求解一个多元线性回归的问题，计算工作量是相当大的，这就需要借助于计算机来进行计算。一般，在标准程序库中都有多元线性回归、逐步回归方法的标准程序可供直接使用。 * 对于某个区间内固定的 x，设 Y ~ N(a+b x, σ 2), 其中 a, b 和σ2是未知的，但都不依赖于 x 的参数。 记 ε = Y-(a+b x)，则 Y= a+b x +ε, ε ~ N(0, σ2 ) . (3.2) 称上式为一元线性回归模型，b 为回归系数。 (3.2) 式表明：因变量Y 由两部分组成：一部分是 x 的线性函数 μ (x)= a+bx，称为 x 的线性回归函数;一部分是 ε ~ N(0, σ2 )，称为随机误差。 9.3.2 a、b的估计 取 n 个不全相同的 x1,x2,…,xn作独立试验，得样本 (x1, Y1)，(x2, Y2),…,(xn, Yn ), 由(3.2)式， Yi= a+bxi + εi , εi ~N(0, σ2)；各εi独立. (3.3) 于是，Yi ~N(a+bxi , σ2), i=1, 2, …, n。 Y1,Y2,…,Yn的联合概率密度为 利用极大似然估计法估计未知参数 a 和 b。 于是，“求L的最大值”问题就变成了“求Q的最小值” 问题 (问题变简单了！)。 令 称该方程组为正规方程组。 由于x1,x2,…,xn不全相同，故，正规方程组的系数行列式 得如下方程组： 故，正规方程组(3.7)有唯一解: 为计算上的方便， 引入如下记号： (3.11) 这样，a, b的估计值可写成 例2 (续例1)：测得温度 x 对产品得率Y 的数据如下： 求Y 关于 x 的线性回归方程。 解：现在 n=10, 为求回归方程，需计算下列表中的数据。 回归直线方程为 根据上表可以计算 于是， 9.3.3 σ 2的估计 由 Y=a+bx+ε, ε ~N(0, σ2 )，即 ε=Y- ( a+bx)； 得到 E{[Y –(a+bx)]2 }= E(ε2)=D(ε)+[E(ε)]2=σ 2. 这表示σ 2越小, 以回归函数 μ (x)=a+bx 作为Y 的近似 所导致的均方误差就越小。这样，利用回归函数来 估计Y就越有效。 然而σ 2未知，需要用样本来估计。为此,引入残差平方和的概念。 Qe是经验回归函数 μ(x)=