回归分析理论的发展与应用.pdf

回归分析理论的发展与应用 回归分析是重要统计推断方法。在实际应用中，回归分析是 数理统计学与实际问题联系最为紧密，应用范围最为广泛，也是 收效最为显著的统计分析方法；是分析数据，寻求变量之间关系 有力的工具。随着科学技术的发展，生物、医学、农业、林业、 经济、管理、金融、社会等领域的许多实际新问题提出，有力地 推动了回归分析的发展。回归分析的研究主要是回归模型的参数 估计、假设检验、模型选择等理论和有关计算方法。 一、经典回归模型 经典回归模型分为线性回归模型和非线性回归模型。线性回 归模型是最基本的，也最简单的情形。线性回归模型是回归模型 学习的起点，在现行的概率统计教材和其它应用性的教材中都有 该模型的分析和应用。线性回归模型虽然简单，但比较有用，在 许多实际应用工作发挥了很大作用。 非线性回归模型是上世纪六十年代初提出的，它是线性模型 的自然推广，非线性回归模型现已发展成为近代回归分析的一个 重要研究分支。在实际应用中严格符合线性回归模型规律的问题 并不多见，大多数问题可以近似为线性回归模型，在不少情形下， 用非线性回归模型去拟合给定的数据集可能更加符合实际。在经 典回归模型研究中，通常假设响应变量的期望关于模型的未知参 数是线性的或非线性的，随机误差是相互独立的，随机误差服从 1 期望为零，方差相同的正态分布，其模型为： y f (X ,)  ，t=1 ，2 ，…，n （1） t t t 其中 为 m 维回归系数向量， (t=1 ，2 ，…，n)为随机误差， t 且满足 Gauss-Markov 假设： (1)随机误差期望为零，即E ( ) 0 ， t=1 ，2 ，…，n ； t 2 (2)随机误差具有等方差，即var( )  ，t=1 ，2 ，…，n ； t (3)随机误差彼此不相关，即cov( , ) 0 i ≠j ，i，j=1 ，2 ，…，n 。 i j 在 Gauss-Markov 假设中，假设（1）表明误差项不包含任何 系统的趋势，因而，响应变量的均值 E (y ) f (X , ) ，t=1 ，2 ，…，n 。 t t 即响应变量的大于或小于其均值的波动完全是一种随机性的，这 种随机性来自误差；假设（2 ）表明误差项是等方差，即要求响 应变量在其均值附近的波动完全是一样的，这种要求比较苛刻， 2 一般情况，应该放松var( )  (t) ，t=1 ，2 ，…，n ；假设（3 ）表 t 明响应变量在不同次的观测是不相关的，这种假设在实际应用中 比较容易满足，但在一些实际问题中，特别是与时间相联系的问 题中，误差往往是相关的。 1 线性回归模型 设y 与x 之间有线性的相关关系,即E (y) x ,令 y (x) ,