快速Gra回归方法.docVIP

快速Gram-Schmidt回归方法 王惠文1、夏棒1、孟洁2 （1北京航空航天大学经济管理学院，2中央财经大学统计学院） 摘 要：提出一种快速的变量筛选与回归建模方法。该方法将在建模过程中，一方面筛选出对因变量有最佳解释作用的信息；另一方面基于Gram-Schmidt正交变换，识别和检验模型中的冗余变量，以便能够及时和成批量地删除所有冗余信息。仿真分析指出，在自变量数量巨大，同时变量之间的多重相关程度又非常高的情形下，与经典的逐步回归相比，该方法的计算速度更快，建模过程更加简洁有效。 关 键 词：Gram-Schmidt正交变换，冗余变量，变量筛选，快速建模 中图分类号：O212 文献标识码：A Fast Algorithm of Gram-Schmidt Regression Method Wang Huiwen1, Xia bang1, Meng Jie2 （1School of Economics and Management, Beihang University, 2School of Statistics, Central University of Finance and Economics） Abstract: A new multiple linear regression method is proposed which can screen the variables fast. In the modeling process, not only can it screen variables containing best information to explain the dependent variable, but also distinguish and test redundant variables in the model based on Gram-Schmidt orthogonal transformation, so as to timely strike out all the redundant information in quantity. The simulation analysis show that compared to classic stepwise regression this new method has a higher arithmetic speed and briefer and more efficient modeling process when the variables appear in a large quantity and have a pretty serious server multicollinearity at the same time. Key words: Gram-Schmidt orthogonal transformation, redundant variables, variable selection, fast modeling 1 引言 多元线性回归分析是工程技术和经济管理等研究领域普遍应用的统计模型。在信息技术快速发展的时代，人们在建模过程中，经常要面对大量的备选的自变量，并且在这些自变量之间往往存在严重的多重相关性。为了解决多重相关条件下的变量筛选与建模问题，经典回归技术中已经存在一些变量选择方法，例如向前选择法（Foreword Selection）、向后删除法（Backward Elimination）以及逐步回归法（Stepwise）等。在一般的应用工作中，使用频率较高的是逐步回归法。然而不难看出，在逐步回归的建模过程中，当某个自变量进入模型后，如果还有一部分自变量与该变量高度相关，那么这些冗余变量依然会持续参与后续的运算，从而造成大量的冗余计算工作量。针对这一问题，本文将基于Gram-Schmidt正交变换，提出一种可以快速消除这些冗余运算的变量筛选和建模方法。 Gram-Schmidt正交变换是由Gram（1883）和Schmidt（1907）提出的。为了保证计算的稳定性，Bjoerck（1967）又给出了修正的Gram-Schmidt变换方法。在近代研究中，该变换方法被广泛地应用于模式识别（Cristianini, 2002; He, 2009）、判别分类（Su, 2009; Bian, 2012）等数据挖掘的相关研究领域。王惠文、陈梅玲等（2008）提出一种Gram-Schmidt回归方法，可以在建模过程中挑选对因变量有解释意义的信息，删除对 无解释意义的信息，并且扣除重复解释 的信息成分。不过在这个方法中，并没有充分利用Gram-Schmidt正交