理论统计学课件-回归分析.pptVIP

于是多对多线性回归模型可写成： 注：组与组之间的随机误差项是相互独立的，但组内可以是不独立的，即每一行内部可以是不独立的。 多对多线性回归分析模型的参数估计 为此用拉直法以及利用矩阵四块求逆公式可得回归系数的估计值如下： 其中左侧是回归系数阵，且有 多对多线性回归系数向量的假设检验 一元统计中多元回归系数检验是： 对多重多元回归，同样需要考察某一部分自变量对p个因变量的影响是否显著的问题，为此考虑模型： 1．选择变量子集合的原则及方法 （1）修正可决系数的方法 当模型中引入一个变量，可决系数增加，而修正可决系数却增加不大，说明该变量对因变量的影响不大，可以不进入模型。类似地，可以依此原则来选择变量子集合。 （2）AIC准则 AIC准则(An information criterion)又称为最小信息准则，1973年由赤池弘治(Akaike)提出。该准则适用于ARMA模型，包括AR，MA模型的检验。 AIC准则的计算公式定义为 AIC中右侧第一项为衡量模型拟合优度的一个量，第二项为增加参数的折扣，应用时选择AIC值最小的那个回归模型为最优模型，也即选择AIC值最小的变量子集合 （3）Cp准则 马勒斯（Mallows）从预测角度提出一个可以用来选择自变量的统计量，即Cp准则。Cp统计量定义为 Cp中右侧第一项为衡量模型拟合优度的一个量，第二项为增加参数的折扣，应用时选择Cp值最小的那个回归模型为最优模型，也即选择Cp值最小的变量子集合 此外，变量子集合的选择还可以采用逐步回归的方法，自动地从大量可供选择的变量中，选择对建立回归方程重要的变量。逐步回归特别适用于解释变量比较多的情况下进行变量的选择。但是，逐步回归分析方法只能识别出一个子集合回归，不能给我们提供几个有争议的子集合进行选择。 第三节 逐步回归分析 一、逐步回归分析的基本原理 二、引入或剔除变量的依据及检验 三、逐步回归中回归系数的求解 四、逐步回归分析在Excel中的实现 逐步回归分析的基本原理 1．“最优”回归方程 当自变量的个数很多时，建立多元回归方程会经常出现多重共线性问题。这就需要探索更方便的方法，从众多的自变量中选择对因变量y影响最为显著的自变量，建立最优回归模型。所谓“最优”回归方程，是指方程中包含所有对y影响比较显著的变量，而不包括对影响不显著的变量的回归方程。建立“最优”回归方程，可采用以下的方法： （１）从所有可能的自变量组合的回归方程中选择最优方程。这种方法理论可行，但是实际中需要建立（ ）个方程，工作量太大。 （２）“逐步剔除法”。 原理是先采用全部自变量与因变量建立回归方程，然后对每个自变量进行显著性检验，剔除不显著的自变量中偏回归平方和最小的变量，然后再用剩下来的自变量与因变量建立新的回归方程，再对方程中每个自变量进行显著性检验，剔除不显著的自变量中偏回归平方和最小的变量，这个过程不断重复，直到回归方程中的自变量都显著为止，最后的回归方程就是“最优”方程。该方法的不足，一是计算量大，二是自变量一旦被剔除就再没有机会被引入，没有考虑到由于某个变量的剔除后使变得显著的其他变量再回到方程中的情况。 （３）“逐步引入法”。 原理是从一个自变量开始，逐个引入回归方程。先是在所有的自变量中选择一个，使它和因变量建立的一元回归方程比其他自变量与因变量建立的一元回归方程具有最大的回归平方和。然后，再在未选入的变量中选择一个自变量，使它和已选入模型的变量所建立的二元回归方程，比其他自变量和已选入模型的变量所建立的二元回归方程具有最大的回归平方和。依次类推，选择第三个变量，这个过程重复下去，每选择一次，都对要引入的变量进行显著性检验，一旦检验不能通过，就不再引入，过程结束。最后的回归方程就是“最优方程”。该方法的不足，一是计算量大，二是自变量一旦被引入就再没有机会被剔除，没有考虑到由于某个自变量的引入使变得不显著的其他变量应从方程中剔除的情况。 （４）“逐步回归分析法” 逐步回归分析法是综合上述（２）（３）两种方法特点，吸收优点，避免不足，产生的方法。是一种自动地从大量可供选择的变量中，选择对建立回归方程重要的变量的方法，它是在多元线性回归分析基础上派生的一种算法。 2．逐步回归分析方法的基本原理 原理是:类似于逐步引入法，从一个自变量出发，视自变量对因变量的影响显著性大小，从大到小逐个引入回归方程，同时，在逐个自变量选入回归方程的过程中，如果发现先前被引入的自变量在其后由于某些自变量的引入而失去其重要性时，可以从回归方程中随时予以剔除。引入一个变量或剔除一个变量