多元回归分析逐步回归预测模型.docVIP

多元回归分析逐步回归预测模型 　　摘 要： 回归分析方法是多元统计分析的各方法中应用最广泛的一种，也是数理统计中最成熟最常用的方法，主要是研究变量间的相互依赖关系。本文对多元线形回归模型的逐步回归，最优模型的检验、评价及预测作出了讨论。 　　关键词： 多元线形回归模型 逐步回归 最优模型 　　 　　回归分析是一种古典又充满生机的模型，是数理统计中最成熟、最常用的方法。它可广泛应用于社会、经济、科技各个领域的数据分析，建立经验公式，作定理预测预报等，如气象预报、地震预报、病虫预报、股市行情分析，等等。 　　建立逐步回归多因子回归方程是基于最小二乘法原理，通过逐步回归剔除对因变量不起作用或作用极小的因子，挑选出显著性因子，最终得出最优回归模型，但最优模型是否适用于预测，还得根据实际情况和要求进行模型的假设性检验才能作出评价。另外，对模型的预测精度也应有一个比较正确的认识，不能要求过高。现就多元线形回归模型的逐步回归，最优模型的检验、评价及预测作些讨论。 　　1.多元线形回归的数学模型 　　设随机变量y随着m个自变量x，x，…，x变化，且有如下的线形关系式： 　　y=β+βx+…+βx+ε 　　此式称为回归方程。其中β，β，…，β称为回归系数，是m+1个待估计的参数，ε是随机变量（剩余参数）。 　　回归分析的主要问题是根据x，x，…，x，y的n组观测数据（x，x…，x，y），k=1，2，…，n给出各回归系数β的估计值β，同时对β（i=0，1，2，…，m）各作统计检验，以便说明估计值的可靠性。将观测值代入回归方程可得： 　　y=β+βx+…+βx+ε……y=β+βx+…+βx+ε 　　其中ε，…，ε是n个相互独立且服从同一正态分布N（0，σ）的随机变量。 　　假设Y=yy，X=1 x…x1 xx，β=ββ，ε=εε， 　　则可得对应的矩阵方程：Y=Xβ+ε。 　　2.回归系数的最小二乘估计 　　设β，β，…，β分别是参数β，β，…，β的最小二乘估计，则y的观测值可表示为：y=β+βx+…+βx+e，其中k=1，2，…，n，e是误差ε的估计值。又令y为y的估计值，有：y=β+βx+…+βx，e=y-y。根据最小二乘法，β，β，…，β应使得全部观测值y与回归值y的误差平???和达到最小，即：Q=［y-（β+βx+…+βx）］有最小值。 　　由于Q是β，β，…，β的非负二次式，最小值一定存在。根据数学分析的极值原理，β，β，…，β应满足下面的方程组：=-2（y-y）=0=-2（y-y）x=0=-2（y-y）x=0，称为正规方程组。 　　通过整理可知正规方程组的系数矩阵是对称矩阵。将其写为矩阵形式的方程为：（X′X）=X′Y，若系数矩阵X′X满秩，求解上述矩阵方程得：=（X′X）X′Y。 　　3.逐步回归建立最优回归模型 　　多元逐步回归分析的基本步骤可归纳如下： 　　（1）对已知数据进行中心化处理，得A阵：A=［（X-）（X-）］，=，=（i，j=1，2，…，m+1）。 　　（2）计算偏回归平方和P并求出其中最大值。各自变量（未引入的）偏回归平方和按①计算，其中偏回归平方和最大值按②选出。①P=A×A/A，②P=max（P），i=1，2，…，m。 　　（3）检验是否引入第h个自变量因子。采用F检验进行检验：F=。根据给定的显著性水平α，查F分布分位数表，可查出F（1，n-r-2）的值。r为已引入自变量的个数，初值为0，当引入一个自变量因子时r加1，当剔除一个自变量因子时r减1，n为记录数。如果F≤F（1，n-r-2），说明所选的自变量因子均不合适，需另选自变量因子，重新分析该问题；反之，则引入该自变量因子，进入下一步骤。 　　（4）对A阵按下面各式施行消元变换，得一新A阵。其中：A=（i=h，j=h）；A=（i≠h，j=h）；A=AA（i=h，j≠h）；A=A-（i≠h，j≠h）。 　　（5）从新的A阵出发，计算偏回归平方和，并从中选出未引入的自变量因子中对应的最大值。计算公式与前面相同只是值不同。 　　（6）检验是否引入第h个自变量因子，同样应用F检验进行检验。若F≤F（1，n-r-2），不引入该自变量因子，筛选完毕；若F＞F（1，n-r-2），则引入该自变量因子，进入下一步骤。 　　（7）重复步骤（4）和（5），只是在计算出偏回归平方和P时，从中选出已引入自变量因子中对应的最小值：P=min（P）。 　　（8）检验是否可剔除自变量因子。采用F检验进行检验： 　　F=。 　　根据给定的显著性水平α，查F分布分位数表，可查出F（1，n-r-1）的值。r为已引入自变量的个数，n为记录数。若F≤F（1，n-r-1），剔除该自变量因子，然后返回步骤（7）；若F＞F（1，n-r-1），不