6孟生旺广义线性模型.发展与应用.ppt

;主要内容;基本GLM：理论与应用;Tweedie、泊松和伽马的比较： Tweedie： 泊松：p=1 伽马：p=2;模型评价1：偏差 近似服从自由度为n - p的卡方分布。除泊松外，效果不是很好。 对于嵌套模型，偏差之差近似服从 p - q 的卡方分布，近似效果较好。 注：SAS中称fD为偏差，称D为尺度偏差。;模型评价2：残差（下页图示） Anscobe残差： Deviance残差： 若分布假设是合理的，标准化处理后近似服从标准正态分布。 若偏差di的绝对值大于1，说明对这个观察值的拟合效果较差。;*; 模型评价3：Type 1 和 Type 3 分析; 模型评价4：标准误、置信区间和p值 ;模型评价5：把样本数据分为三组（数据充足） 训练样本（training data） 测试样本(test data) 评价样本(validation data) 模型评价6：Box-Cox检验 ;来源：Anderson etc.(2007), Practitioners’ guide to GLM;模型比较：信息准则 AIC或BIC的值越小越好。 误差平方和的比较？ ;GLM的优缺点;费率约束： A区域的费率系数不超过1.20 B区域的费率系数保持在当前水平1.10不变 如何解决？ 传统方法： 方法 2：抵消项 方法 3：一般约束条件下的广义线性模型;性别;权重与抵消项的关系：泊松回归为例： 因变量：索赔次数(C) 权重：无 抵消项：log(风险单位数) 因变量：索赔频率(F) 权重：风险单位数(e) 抵消项：无;费率约束情况下，何时不宜使用抵消项？ 例：公司希望开拓高端住宅保险市场，措施之一是适当降低其费率 问题：保额与区域高度相关 应用抵消项的结果：区域因子会调整，使得高端住宅的费率仍然较高 解决途径？方法3，一般约束条件下的广义线性模型;*;GLM的推广 与应用;广义可加模型（Generalized Additive Models，GAM） GAMLSS模型（GAM for Location, Scale and Shape);神经网络模型 ;神经网络模型的优点： 广义线性模型的推广。 非线性。 无需事先指定解释变量与因变量之间的函数关系。 可以以任意精度逼近任意的连续函数 预测效果通常要优于常用的广义线性模型，但有例外 ;神经网络的缺陷： 缺乏进行统计推断和模型检验的统计理论 模型参数不易解释 预测过程类似于一个黑箱 有可能会引入不必要的交互项，导致过拟合??;回归树 优点： 无需对因变量和解释变量之间的函数关系作出假设 可以方便地处理交互作用 缺点： 拟合值是分段常数，不大可能产生很好的拟合效果。;最小偏差法及其推广（下页） 优点：建立加法和乘法的混合模型 缺点：没有严格的统计检验 ;;应用案例;*;*;*;*;*;*;*;小结;谢谢！