多元回归分析原理及例子.docx

多元回归分析原理 回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是 : 虽然 自变量和因变量之间没有严格的、确定性的函数关系 , 但可以设法找出最能代表它们之间关系的数 学表达形式。 回归分析主要解决以下几个方面的问题 : 确定几个特定的变量之间是否存在相关关系, 如果存在的话 , 找出它们之间合适的数学表达 式 ; 根据一个或几个变量的值 , 预测或控制另一个变量的取值 , 并且可以知道这种预测或控制能达到什么样的精确度 ; (3) 进行因素分析。例如在对于共同影响一个变量的许多变量 ( 因素 ) 之间 , 找出哪些是重要因素 , 哪些是次要因素 , 这些因素之间又有什么关系等等。 回归分析有很广泛的应用 , 例如实验数据的一般处理 , 经验公式的求得 , 因素分析 , 产品质量 的控制 , 气象及地震预报 , 自动控制中数学模型的制定等等。 多元回归分析是研究多个变量之间关系的回归分析方法 , 按因变量和自变量的数量对应关系可 划分为一个因变量对多个自变量的回归分析 ( 简称为“一对多”回归分析 ) 及多个因变量对多个自变 量的回归分析 ( 简称为“多对多”回归分析 ), 按回归模型类型可划分为线性回归分析和非线性回归 分析。 本“多元回归分析原理”是针对均匀设计 3.00 软件的使用而编制的 , 它不是多元回归分析的 全面内容 , 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。 本部分内容分七个部分 , §1～§4 介绍“一对多”线性回归分析 , 包括数学模型、回归系数估 计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回归 分析的基础 , “多对多”回归分析的内容与“一对多”的相应内容类似 , §5 介绍“多对多”线性 回归的数学模型 , §6 介绍“多对多”回归的双重筛选逐步回归法。§7 简要介绍非线性回归分析。 1 一对多线性回归分析的数学模型 2 回归系数的最小二乘估计 3 回归方程及回归系数的显著性检验 4 逐步回归分析 5 多对多线性回归数学模型 6 双重筛选逐步回归 7 非线性回归模型 §1 一对多线性回归分析的数学模型 设随机变量 与 个自变量 存在线性关系 : , (1.1) (1.1) 式称为回归方程 , 式中 为回归系数 , 为随机误差。 现在解决用 估计 的均值 的问题 , 即 , 且假定 , , 是与 无关的待定常数。 设有 组样本观测数据 : 其中 表示 在第 次的观测值 , 于是有 : , (1.2) 其中 为 个待定参数 , 为 个相互独立的且服从同一正态分布 的随机变量 , (1.2) 式称为多元 ( 元 ) 线性回归的数学模型。 (1.2) 式亦可写成矩阵形式 , 设 , , , , 则 (1.2) 式变为 : , (1.3) (1.3) 式称为多元线性回归模型的矩阵形式。 §2 回归系数的最小二乘估计 设 分别为 的最小二乘估计值 , 于是 的观测值 , , (2.1) 其中 为误差 的估计值 , 称为残差或剩余。令 为 的估计值 , 则有 , (2.2) , , (2.3) (2.3) 式表示实际值 与估计值 的偏离程度。 欲使估计值 与实际值 拟合的最好 , 则应使残差 平方和 达到最小 , 为此 , 我们可以应用微分求极值原理确定 , 即解下列方程组 , (2.4) 即 , (2.5) 整理并化简则得以下正规方程组 : , (2.6) 如果记 (2.6) 式的系数矩阵为 , 右端常数项矩阵记为 , 则有 , (2.7) , (2.8) 因此正规方程 (2.6) 的矩阵形式为 , (2.9) 或 , (2.10) 其中 为正规方程中待定的未知实数向量 , 如果系数矩阵 满秩 , 则 存在 , 此 时有 , (2.11) (2.11) 式即为多元线性回归模型 (1.2) 式中参数的最小二乘估计。 正规方程组 (2.6) 亦可表达为下述另一种形式 , 如果记 , , , 则由 (2.6) 式中第一等式可解出 , (2.12) 再将 (2.12) 代入到 (2.6) 其它各式中并经化简整理可得 , (2.13) 又由 , , , , 如果记 , , (2.14) , , (2.15) 则 (2.13) 式可以表示为 , (2.16) (2.16) 式称为正规方程组 , 解此方程组可得 , 再代入到 (2.12) 式中则得 , 于是得回归 方程 , (2.17) (2.17) 式称为回归超平面方程。 如果记 (2.16) 式的系数矩阵为 , 右端常数项向量为 , 则 , , 且记 , 则正规方程组 (2.16) 的矩阵形式为 , (2.18) 解 (2.18) 得 , (2.19)