《风险模型》课件 7 贝叶斯GLM与正则化.pptxVIP

贝叶斯GLM与正则化

（版本1）;?;最大后验估计与正则化;正则化的作用：

当模型中解释变量过多时，模型易过拟合，导致预测方差偏大；正则化通过引入适当的偏差，显著降低预测方差，最终提升模型的整体泛化性能；

注意：

截距项通常不进行正则化，以免破坏GLM自然连接函数下的平衡性；

若协变量的尺度差异较大，需先对协变量进行标准化或尺度变换，避免正则化强度受变量单位影响。;先验分布选择与常用正则化;岭回归（RidgeRegression，L2正则化）;?;?;?;?;LASSO（L1正则化）;?;?;?;弹性网（ElasticNet）;弹性网的主要特性：

分组选择：能实现分组选择（对线性相关的变量组，同时保留组内变量），解决LASSO的分组选择缺陷；

变量选择与系数压缩：兼具LASSO的变量选择功能和岭回归的系数压缩特性，泛化性能更优；

适用场景：高维数据、存在多重共线性的数据集。;三类正则化方法对比;正则化GLM的实现（以R语言为例）;正则化GLM小结;贝叶斯GLM与正则化

（版本2）;贝叶斯GLM参数估计方法;?的后验分布：;在给定的条件下，计算随机变量Yn+1的期望值：;问题：如何求后验分布与后验均值？;参数的最大后验估计;先验分布的选择：;常用正则化方法对应的先验分布：;岭回归LM的参数估计;LM岭回归的参数估计（假设对y