岭回归课件.pptVIP

§7.5 用岭回归选择变量 §7.5 用岭回归选择变量 §7.5 用岭回归选择变量 例7.4 用岭回归方法处理民航客运数据的多重共线性问题。 SPSS软件的岭回归功能要用语法命令实现，菜单对话框中没有此功能。运行岭回归程序的步骤如下： 第7章 岭回归 7.1 岭回归估计的定义 7.2 岭回归估计的性质 7.3 岭迹分析 7.4 岭参数k的选择 7.5 用岭回归选择变量 7.6 本章小结与评注 §7.1 岭回归估计的定义 一、普通最小二乘估计带来的问题 当自变量间存在复共线性时，回归系数估计的方差就很大， 估计值就很不稳定，下面进一步用一个模拟的例子来说明这一点。 例7.1 假设已知x1，x2与y的关系服从线性回归模型 y=10+2x1+3x2+ε §7.1 岭回归估计的定义 §7.1 岭回归估计的定义 §7.1 岭回归估计的定义 二、岭回归的定义 岭回归(Ridge Regression,简记为RR)提出的想法是很自然的。 当自变量间存在复共线性时，｜X′X｜≈0， 我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异的程度就会比X′X接近奇异的程度小得多。 考虑到变量的量纲问题，我们先对数据做标准化