《多元线性回归分析》课件2.pptVIP

*************************************向前选择法起始空模型从不包含任何自变量的基础模型开始，仅有截距项。这个初始模型是构建过程的基础，后续将逐步添加变量来改进这个简单模型。候选变量评估单独检验每个候选自变量，计算将其加入模型后的统计指标改善程度（如F检验显著性、t检验显著性、R2增量或信息准则减少量）。这一步确定哪个变量最能提升模型表现。添加最佳变量将评估结果最好的变量（如p值最小或F值最大的变量）添加到模型中，前提是该变量满足预设的纳入标准（如p值低于某阈值）。如果没有变量满足标准，则停止过程。迭代重复重复上述候选变量评估和添加步骤，直到没有新变量满足纳入标准，或达到预设的变量数量上限。每次迭代都在已有变量的基础上评估剩余变量的贡献。向后剔除法最终精简模型仅保留重要变量的高效模型移除不显著变量逐步剔除不满足统计标准的变量评估变量显著性对所有变量进行显著性检验全模型开始初始包含所有候选变量向后剔除法是一种从全模型开始，逐步删除不显著变量的方法。首先建立包含所有候选自变量的完整模型，然后按照显著性从低到高的顺序依次检验每个变量，将不满足保留标准的变量逐个剔除。每剔除一个变量后，重新估计剩余变量的系数和显著性，直到所有留在模型中的变量都满足保留标准。与向前选择法相比，向后剔除法考虑了变量间的相互影响，不容易遗漏重要变量，但对多重共线性更敏感，且在候选变量数量超过样本量时不适用。在确定最终模型时，应结合理论意义和实用价值，而非仅凭统计显著性，以避免剔除理论上重要但在特定样本中不显著的变量。最优子集回归法基本原理最优子集回归法是通过穷举所有可能的变量组合，评估每个子集模型的性能，从中选择最佳模型的方法。与逐步回归法不同，它不依赖迭代过程，而是直接比较所有可能的模型，保证找到给定标准下的全局最优解。在p个候选自变量的情况下，总共需要评估2^p个模型，从空模型（仅含截距项）到全模型（包含所有变量）。当变量数量较多时，计算量会呈指数增长，可能面临计算资源挑战。评估标准与实施步骤常用评估标准包括：调整后R2（越大越好）马洛斯Cp统计量（接近变量数加1为佳）赤池信息准则AIC（越小越好）贝叶斯信息准则BIC（越小越好）实施步骤：确定评估标准和搜索范围评估所有可能的变量组合按规模（含变量数）分组比较模型结合多个标准，识别最优模型虚拟变量的使用虚拟变量的概念虚拟变量（dummyvariable）也称为指示变量或二分变量，是一种用于表示定性特征或类别的变量，通常取值为0或1。它允许将定性信息转换为可在回归模型中使用的定量形式，使模型能够捕捉分类变量的影响。基本编码方法对于具有k个类别的定性变量，通常使用k-1个虚拟变量进行编码，以避免完全多重共线性（虚拟变量陷阱）。最常用的编码方式是参照组编码，选择一个类别作为基准（取值全为0），其他类别与之比较。系数解释虚拟变量的回归系数表示相对于参照组的平均效应差异。例如，在薪酬分析中，性别虚拟变量的系数表示在控制其他因素后，不同性别之间的平均薪酬差异。正系数表示该类别相比参照组有正向影响，负系数则相反。应用技巧与注意事项虚拟变量可用于建模季节性效应、结构变化、临界点影响等。可通过虚拟变量与连续变量的交互项捕捉斜率差异。在处理大量类别时，可考虑效应编码或对比编码等替代方法，以提高解释效率。定性变量的引入不同类型的定性变量定性变量可分为以下几类：二元变量：仅有两个类别，如性别（男/女）、婚姻状况（已婚/未婚）名义变量：多个类别，但类别间无序关系，如职业、地区有序变量：多个类别，且类别间存在自然顺序，如教育程度、满意度等级不同类型的定性变量需要采用不同的编码策略，以准确捕捉其对因变量的影响。编码方法与选择常用编码方法：哑变量编码：为k个类别创建k-1个二元变量效应编码：类似哑变量编码，但参照组取-1而非0对比编码：基于预设对比设计编码变量顺序编码：专门针对有序变量，保留顺序信息编码方法的选择应基于：研究目的和假设变量类型（二元、名义、有序）理论意义和解释需求样本特性和类别分布交互项的引入交互效应概念一个变量的影响取决于另一变量的水平数学表示方法通常通过乘积项X?×X?表示交互作用交互类型连续×连续、连续×分类、分类×分类解释技巧通过条件效应或图形展示理解交互作用交互项的引入使模型能够捕捉变量间的协同或拮抗效应，克服了简单加性模型的局限性。例如，教育程度对收入的影响可能因性别而异，这种差异效应无法通过单独的主效应捕捉，需要引入教育与性别的交互项。在含有交互项的模型中，