概率论与数理统计(回归分析).ppt

9.2 回归分析 回归分析是针对两个或两个以上具有相关关系的变量，研究它们的数量伴随关系，并通过一定的数学表达式将这种关系描述出来，建立回归模型． 回归分析中总假设因变量是随机变量，自变量可以是随机变量也可以是一般变量（可以控制或精确测量的变量） 我们只讨论自变量为一般变量的情况． 为简单起见，以后的所有随机变量及其观测值均用小写字母表示． ;9.2 回归分析;9.2 回归分析;9.2 回归分析;9.2 回归分析;9.2.1 一元线性回归分析;9.2.1 一元线性回归分析;9.2.1 一元线性回归分析;9.2.1 一元线性回归分析;9.2.1 一元线性回归分析;9.2.1 一元线性回归分析;1．参数?0和?1的最小二乘估计 设对模型(9.1)中的变量x，y进行了n次独立观察，得样本(xi，yi) (i = 1，2，…，n)．由(9.3)式知随机误差?i = yi – (?0 + ?1xi)． 最小二乘法的思想是：由xi，yi估计?0，?1时，使误差平方和 达到最小的 和 ，分别作为?0，?1的估计，并称 和 为?0和?1的最小二乘估计． ;1．参数?0和?1的最小二乘估计 通常可采用微积分中求极值的办法，求出使 达到最小的 和 ．即解方程： 或 (9.6);1．参数?0和?1的最小二乘估计 即解方程： (9.6) 或 (9.7) 称(9.6)或(9.7)为正则方程．;1．参数?0和?1的最小二乘估计 解正则方程得 (9.8) 其中 从而得到回归方程： ;1．参数?0和?1的最小二乘估计 (9.8) 因为 ， (9.8)式又可以写成 ;1．参数?0和?1的最小二乘估计 可以证明，用最小二乘法求出的估计 和 ，分别是?0，?1的无偏估计，它们都是y1，y2，…，yn的线性函数 而且在所有y1，y2，…，yn的线性函数中，最小二乘估计的方差最小．;【例9.3】建立表9.1中合金钢的强度y与含碳量x之间的回归方程，并计算参数?0和?1的最小二乘??计． 解：首先计算 参数?1和?0的最小二乘估计分别为 因此，回归方程为 ．;2. 回归方程的显著性检验 对任意两个变量的一组观测数据 (x1，y1)，(x2，y2)，…，(xn，yn) 都可以用最小二乘法得到回归方程 ，但这样得到的回归方程不一定都有意义． 如果实际上模型(9.1)中的 ，用最小二乘法得到的 就没有意义．这时称回归方程不显著； 如果 ， 就有意义，这时称回归方程是显著的． ;2. 回归方程的显著性检验 综上，一元线性回归方程的显著性检验，就是要根据观测数据检验假设 H0: ?1 = 0 H1: ?1 ? 0 如果检验结果拒绝原假设H0，说明一元线性回归方程是显著的，否则，表明y与x线性关系不显著，不需要建立这种模型了． 在一元线性回归方程的显著性检验中，有多种等价的检验方法．这里介绍常用的F检验法． ;2. 回归方程的显著性检验 采用方差分析的思想，我们研究影响观测值yi的原因． 注意到回归方程 只反映了x对y的影响，所以，拟合值 是观测值yi中只受xi影响的那一部分 而 则是除去xi的影响后，受其它种种因素影响的部分，故将 称为残差．于是，观测值yi可以分解为两部