第五章__回气归分析修改.pptVIP

第五章 回归分析 回归分析 一元线性回归 在现实问题中处于同一个过程中的一些变量往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种： 回归分析：研究一个随机变量与一个（或几个）可控变量之间相关关系地统计方法。只有一个自变量的回归分析叫做一元回归分析；多于一个自变量的回归分析叫做多元回归分析。 5.1 一元线性回归 (一) 一元线性回归模型 （1） x对Y没有显著影响，应丢掉自变量x； （2） x对Y有显著影响，但不能用线性相关关系来 表示； （3） 除x外还有其它不可忽略的变量对Y也有显著 影响，从而削弱了x对Y的影响，应考虑多元 线性回归。 1. F检验法 考虑 令 计算后可得一元线性模型中的平方和分解公式： 总偏差平方和 回归平方和 残差平方和 x y { } } ? 总偏差（离差）平方和 回归平方和 因为 剩余平方和（或残差平方和） 平方和分解公式： （1）由于x对Y的线性相关关系而引起的Y的分散性。 （2）剩余因素引起的Y的分散性。 * * (1)确定性关系 --函数关系 (2)非确定性关系 -- 相关关系：变量之间有一定的依赖关系，但这种关系并不完全确定。 可控变量：可以在某范围内随意地取指定数值- 自变量 不可控变量:可以观测但不可控制(随机变量)-- 因变量 回归分析主要内容: 提供建立有相关关系的变量之间的数学关系式(经验公式)的一般方法; (2)判别所建立的经验公式是否有效; (3)利用所得到的经验公式进行预测和控制. 设 与 有相关关系,当自变量 时, 因 变量 并不取固定的值与其对应. 如果要用函数关系近似 与 的相关关系,很自然想到,应该以 作为 与 相对应的数值. （5－1） 其中 为常数，则称 与 之间存在线性相关关系，称（5－1）为一元正态线性回归模型，简称一元线性模型，其回归函数记为 称为 对 的线性回归， 称为回归常数， 称为回归系数。 由（5－1）得 ，可知 取 不同数值时，便得到不同的正态变量。 其中 为未知的常数。 由 独立知道 也相互独立，且 称为独立样本 的一个（或一组）样本观测 值，其中 为 取固定值 时，对 进行一次试验所得到的观测值。 x y (xn , yn) (x1 , y1) ? ? ? ? ? ? ? ? ? (x2 , y2) (xi , yi) ｝ ei = yi-yi ＾ 利用独立样本及其样本值可得 的估计量及 估计值 和 从而得到回归函数 的估计 称为 对 的经验回归方程或经验公式。 把样本值 作为平面直角坐标系的 个点描出来，构成实验的 散点图。 根据散点图，适当地选择一个函数 使得 在一定意义下最好地吻合 于观测结果 常用的是最小 二乘法，即 . . . . . . . 二、未知参数的估计 1. 正规方程组、回归系数的点估计 根据最小二乘法求线性回归函数 的估计 就是求使得 取得最小值的 即 根据微分学中的二元函数极值的充分条件,将 分别对 求一阶偏导数并令其为零 经过整理后得到线性方程组 其中 正规方程组 解此方程组即得使 取得最小值的 分别称为 的最小二乘估计值.于是, 得到 对 的经验回归方程 注: 用最小二乘法得到的经验回归直线通过已知 个数据点 的几何重心 因为 把估计值中的 分别用 来代替,就得到了参数 的估计量.为了方便, 我们引进几个常用的记号 则 参数估计量 回归方程 定理1: 在一元线性回归模型中, 和 相互 独立. 证明: 即 与 不相关. 但 与 都是独立正态变量 的线性组合,因此, 与 的联合分布为正 态分布. 对于正态随机向量来说不相关和相互独立是 等价的. 证毕 定理2: 在一元线性回归模型中, 的最小二 乘估计量 的数学期望和方差为 证明: 证毕. 由定理2可看出, 当 时, 取最小值 ; 与 成反比.所以,为了提高 和 的估计精度, 最 好选择 使 ,并且 应比较分散. 注: 的最小二乘估计量与极大似然估计量相等. 2. 参数 的点估计 当 的极大似然估计量 已得到后, 的估计量可由似然方程 可得 的极大似然估计量为 记 即 是 的极大似然估计量. 定理3: 在一元线性模型中 证明: 而 又 于是有 证毕. 由定理3可得