20回归分析.ppt

数理统计《第八章》 §1 线性回归分析 */31 这说明 与 之间存在一种相关关系 可人为改变(可控因素) 化工产品苯酚的产率记为 影响产率的主要五 个因素有 温度 时间 压力 催化剂种类 碱液用量 、 、 、 、 随各 的变化而变化,即 是因变量 即使生产条件一样,即各 相同, 的值也不完全相同,故 是 对 进行推断 不可观测的随机误差 是普通函数,表示 与各 之间的确定性关系 因变量 因子，自变量 推断 与 之间的相关关系 是多项式 ,进一步假定 是线性函数,即有 推断 与各 的相关关系 推断 推断 怎样推断 怎样获取样本 称 为 回归系数. 其中 是不可观测的随机误差,且 则有 记 取因子 组不同的值 进行 次独立试验,得 的 个独立观察值 (样本) 则(*)表为 称(*)或(**)为 独立,各 线性回归模型(线性模型) ,记为 已知 维观测向量 维不可观测误差向量 维未知参数向量 已知 阶矩阵，称为设计矩阵 模型中的线性假设是否合理 模型的最优化问题 的点估计 之间是否确有线性关系 ,即 与 如果 与因子之间确有线性关系，那么根据线性回归模型怎样进行预测和控制 回归中的其它问题 回归一词是英国著名人类学家和气象学家高尔顿于1885年引入的.在“身高遗传中的平庸回归”的论文中,高尔顿阐述了他的重大发现：虽然高个子的先代会有高个子的后代,但子代的身高并不象其父代,而是趋向于比他们的父代更加平均,就是说如果父亲身材高大,则子代的身材要比父代矮小一些；如果父亲身材矮小,则子代的身材要比父代高大一些.换言之,子代的身高有向平均值靠拢的趋向.因此,他用回归一词来描述子代身高与父代身高的这种关系. 是自然界的一种现象,是一种自然规律. 设儿子身高为 ,父亲身高为 英国著名统计学家皮尔逊等人搜集了上千个家庭成员的身高数据,分析得出 ,它们具有相关关系 假设 为线性函数,即有 (单位:英寸) 故有 儿子身高 与父亲身高 的回归模型 由于 设有线性模型 ,如何求 的点估计 故 的一个“好”估计应满足 若 满足 最小二乘估计. 则称 是 的 怎样求 的最小二乘估计 第五章线性方程组的最小二乘解 ,则有 有唯一的最小二乘估计 是 的最小二乘估计 是不相容方程组 的最小二乘解 是正规方程组 的解 以后总假定 列满秩 非奇异 取因子 组不同的值 的最小二乘估计是 以后总假定 列满秩 对于线性模型 记 ,令 称上式为 经验回归方程 回归方程 或 经验回归方程有什么实际意义 当给定 时,经验回归方程给出了 的相应的 预报值 (或 ) 拟合值 ,可用于实际问题的预测与控制. 令 某化工厂研究硝化得率 与硝化温度 、硝酸浓度 之间的相关关系.进行了10次试验,数据如下 试求 关于 的回归方程. 设 与 满足线性模型 求得回归方程为 则 的最小二乘估计为 记 称拟合误差 为 残差向量 剩余向量 或 回归方程 的最小二乘估计是 表示当给定 时, 相应的 预报值 (或 ). 拟合值 表示当给定设计矩阵 时, 相应的 预报值 (或 ). 拟合值 已知 未知 拟合(估计)误差 ,称 的列空间 为 估计空间 记 ,则 即 都是投影阵 ,且 都是 的投影 是 的线性无偏估计,且 是样本 的线性函数 是 的线性估计 于是 是 的无偏估计 又 对于残差向量有 有 记 ,则有 记 则 是 的无偏估计. 有 是任一已知常数向量， 设 的是待估计函数 ,则 是 的最小方差线性无偏估计. 是 由性质1知 是 的线性无偏估计 ,又 故 是 的线性无偏估计. 方差最小性是指:在 的所有线性无偏估计类中, 的方差最小 ,即 对于线性模型 是 的无偏估计 无论 服从什么分布, 的最小二乘估计 无论 服从什么分布, 的无偏估计是 其中 为残差平方和. 其似然函数为 或即 为 ,则称 正态线性模型 显然 故 的 是 的 是 若 服从正态分布,即观察向量 为正态线性模型,则 设 相互独立,从而 相互独立 由正态分布性质可知 相互独立 正态随机向量 不相关 独立 正态随机向量的线性变换 仍是正态随机向量 设有线性模型 则原模型写为 其中是 可观测的随机变量，