多重回归中注意事项.ppt

* 二、共线性诊断与异常点诊断 5. 共线性的解决方法 1 变量筛选 自变量存在多重共线性时，说明部分自变量间有较高的相关性。可认为这些自变量对因变量的作用部分重叠或存在包含作用。 故可采用自变量筛选的方法选出对因变量有统计学影响且相互之间独立或相关性较低的一组自变量。 * 二、共线性诊断与异常点诊断 5. 共线性的解决方法 2 有偏估计 自变量间存在多重共线性且专业上认为需要保留在模型中时，不宜使用最小二乘法估计模型。此时，可采用有偏估计。 所得回归系数的估计值与参数的偏离不大，且较为稳定，另回归系数的标准误比最小二乘法小。 此类方法包括岭回归分析、主成分回归分析等。 * 二、共线性诊断与异常点诊断 5. 共线性的解决方法 3 偏最小二乘回归分析 此法是最小二乘法的一种拓展，最早产生于化学界。建模过程中，集成了主成分分析、典型相关分析和线性回归分析的特点，具有传统经典回归分析所没有的优点。 * 二、共线性诊断与异常点诊断 5. 共线性的解决方法 4 增大样本含量 通过增加样本含量，减少估计量的方差，提高估计精度，可在一定程度上克服多重共线性。 * 二、共线性诊断与异常点诊断 1. 学生化残差统计量 Studentized residual，计算公式为： 该统计量的绝对值大于2时，所对应的观测点可能是异常点。 * 二、共线性诊断与异常点诊断 2. Cook’s D统计量 库克距离统计量。 一般认为， Cook’s D 0.5时，可认为此观测点对回归模型的拟合有强影响，即可认为是异常点。 * 二、共线性诊断与异常点诊断 3. 异常点的处置 认真核对原始数据。若属抄写或输入等人为错误，应予以纠正；若非人为错误，可删除异常点，重新拟合回归模型。 如有可能，最好在此实验点上补做实验，进一步确定此可疑异常点是否属实。 三、主成分回归分析 1. 基本概念 主成分回归分析是将多个彼此相关、信息重叠的自变量通过适当的线性组合，使之成为彼此独立而又提取了原指标变异信息并带有特定专业含义的综合潜变量，即主成分，建立潜变量和因变量的线性回归方程，再将回归方程中的潜变量转换为原自变量的一种多元统计方法。 三、主成分回归分析 2. 实现步骤 （1）进行多重回归分析，并进行共线性诊断； （2）如果自变量之间存在共线性，则可选择进行主成分回归分析，以解决由于共线性的影响，造成回归结果不合理或无法解释； 三、主成分回归分析 2. 实现步骤 （3）用主成分分析求自变量的主成分和主成分得分； （4）使用因变量与主成分进行回归分析； （5）将主成分的表达式回代，最后得到因变量与原始自变量的回归模型，并给予专业解释。 * 四、最优回归子集法 1. R2选择法 RSQUARE 从模型语句中的各自变量所有可能子集中选出规定数目的子集，使该子集所构成的模型的决定系数R2最大。 * 四、最优回归子集法 1. R2选择法 RSQUARE 注意：当观测点少、且模型语句中变量数目过多时，程序不能运行，因为过多自变量使误差项无自由度，设计矩阵不满秩，所以最多只能从所有可能的变量中选择观测点数减1个变量放入回归方程。 * 四、最优回归子集法 1. R2选择法 局限性∶ 其一，当样本含量小于等于自变量 含交互作用项 个数时，只能在一定数目的变量中穷举，为找到含各种变量数目的最优子集，要么增加观测，要么反复给出不同回归方程； 其二，选最优子集的标准是R2 ，完全没有考虑其他标准。 * 四、最优回归子集法 2. 修正R2选择法 ADJRSQ 根据修正的决定系数R2取最大的原则，从回归方程的所有自变量中选出规定数目的子集。程序能运行的条件是设计矩阵X满秩。 本法的局限性与R2选择法相似：其一，与R2选择法中“其一”相同；其二，选最优子集的标准只是用修正的R2取代未修正的R2而已，完全没有考虑其他标准。 * 四、最优回归子集法 3. Mallow?s Cp选择法 Cp 从k个自变量中选出p个时，可使用Cp统计量鉴别模型的好坏，其定义为： 其中SSE是选用p个自变量时的残差平方和， 是选用k个自变量（即全回归模型）时的残差方差σ2的估计值。当回归方程中包含截距项时，i 1；反之，i 0。 * 四、最优回归子集法 3. Mallow?s Cp选择法 理想的回归方程应当使Cp p，在p取不同值时，可能有多个回归方程的Cp接近于p，这时可取p较小的回归方程。 根据Mallow?s Cp统计量，从模型变量子集中选出最优子集。 * 四、最优回归子集法 3. Mallow?s Cp选择法 Cp统计量的数值比R2选择法、修正R2选择法更大地依赖于模型语句所给出的回归方程，它比前二者多考虑的方面是：用模型语句决定的全回归模型估计出误差平方和。 本法的局限性与R2选择法相似，只是