多元回归分析原理与例子.docVIP

　多元回归分析原理 　　回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是: 虽然自变量和因变量之间没有严格的、确定性的函数关系, 但可以设法找出最能代表它们之间关系的数学表达形式。 　　回归分析主要解决以下几个方面的问题: (1) 确定几个特定的变量之间是否存在相关关系, 如果存在的话, 找出它们之间合适的数学表达式; (2) 根据一个或几个变量的值, 预测或控制另一个变量的取值, 并且可以知道这种预测或控制能达到什么样的精确度; (3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间, 找出哪些是重要因素, 哪些是次要因素, 这些因素之间又有什么关系等等。 　　回归分析有很广泛的应用, 例如实验数据的一般处理, 经验公式的求得, 因素分析, 产品质量的控制, 气象及地震预报, 自动控制中数学模型的制定等等。 　　多元回归分析是研究多个变量之间关系的回归分析方法, 按因变量和自变量的数量对应关系可划分为一个因变量对多个自变量的回归分析(简称为“一对多”回归分析)及多个因变量对多个自变量的回归分析(简称为“多对多”回归分析), 按回归模型类型可划分为线性回归分析和非线性回归分析。 　　本“多元回归分析原理”是针对均匀设计3.00软件的使用而编制的, 它不是多元回归分析的全面内容, 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。 　　本部分内容分七个部分, §1～§4介绍“一对多”线性回归分析, 包括数学模型、回归系数估计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回归分析的基础, “多对多”回归分析的内容与“一对多”的相应内容类似, §5介绍“多对多”线性回归的数学模型, §6介绍“多对多”回归的双重筛选逐步回归法。§7简要介绍非线性回归分析。 　　§1 一对多线性回归分析的数学模型 　　§2 回归系数的最小二乘估计 　　§3 回归方程及回归系数的显著性检验 　　§4 逐步回归分析 　　§5 多对多线性回归数学模型 　　§6 双重筛选逐步回归 　　§7 非线性回归模型 §1 一对多线性回归分析的数学模型 　 　　设随机变量与个自变量存在线性关系: 　　　　, (1.1) (1.1)式称为回归方程, 式中为回归系数, 为随机误差。 　　现在解决用估计的均值的问题, 即 　　　　, 且假定, , 是与无关的待定常数。 　　设有组样本观测数据: 　　　　 其中表示在第次的观测值, 于是有: 　　　　, (1.2) 其中为个待定参数, 为个相互独立的且服从同一正态分布的随机变量, (1.2)式称为多元(元)线性回归的数学模型。 　　(1.2)式亦可写成矩阵形式, 设 　　　　, 　　　　, 　　　　, 　　　　, 则(1.2)式变为: 　　　　, (1.3) (1.3)式称为多元线性回归模型的矩阵形式。 §2 回归系数的最小二乘估计 　　设分别为的最小二乘估计值, 于是的观测值 　　　　, , (2.1) 其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有 　　　　, (2.2) 　　　　, , (2.3) (2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和 　　　　 达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组 　　　　, (2.4) 即 　　　　, (2.5) 整理并化简则得以下正规方程组: 　　　　, (2.6) 如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有 　　　　, (2.7) 　　　　, (2.8) 因此正规方程(2.6)的矩阵形式为 　　　　, (2.9) 或 　　　　, (2.10) 其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有 　　　　, (2.11) (2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。 　　正规方程组(2.6)亦可表达为下述另一种形式, 如果记 　　　　, , 　　　　, 则由(2.6)式中第一等式可解出 　　　　, (2.12) 再将(2.12)代入到(2.6)其它各式中并经化简整理可得 　　　　, (2.13) 又由 　　　　, , 　　　　, , 如果记 　　　　, , (2.14) 　　　　, , (2.15) 则(2.13)式可以表示为 　　　　, (2.16) (2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程 　　　　, (2.17) (2.17)式称为回归超平面方程。 　　如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则 　　　　, 　　　　, 且记, 则正规方程组(2.16)的