行为评分卡模型的验证 监控和调优.ppt

*/48 互联网新技术在线教育领航者 互联网新技术在线教育领航者 互联网新技术在线教育领航者 互联网新技术在线教育领航者 LOGO 法律声明 行为评分卡模型的验证、监控和调优 目录 评分卡模型常用的评价指标 模型的验证与监控 实际违约率与预期违约率 模型的调优 行为评分卡模型的评价 好的评分卡模型需要满足以下要求 预测能力 能抓取尽可能多的违约人群 区分能力 能尽可能区分出非违约人群 排序能力 非违约人群的分数尽可能高于违约人群 稳定性 分数分布的稳定性与评分对象的稳定性需要一致 评分卡模型常用的评价指标 AR(Accuracy Ratio) 衡量分数预测能力的指标 ，需要知道样本在表现期的违约状态。取值位于－1～1之间。 评分卡模型常用的评价指标 KS(Kolmogorov-Smirnov) 衡量分数区分能力的指标，同样需要知道样本在表现期的违约状态。取值位于－1～1之间。 评分卡模型常用的评价指标 评分卡模型常用的评价指标 评分卡模型常用的评价指标 评分卡模型常用的评价指标 目录 评分卡模型常用的评价指标 模型的验证与监控 实际违约率与预期违约率 模型的调优 模型的验证 模型的验证(model validation) 评分卡模型训练完之后，需要在验证集上进行验证。通常，需要选择跟训练样本所在的日期不同的日期的申请样本做为验证集，称为OOT(out of date test)。这是为了验证模型在时间上的效力跟稳定性。 模型的监控(model monitoring) 模型在部署并执行后，需要定期对模型的表现进行监控，以保证模型的各项性能不会出现恶化。当某项指标持续恶化时，需要按需对模型进行调整甚至重新开发。模型的监控与验证基本是一致的，主要包含了对模型稳定性、准确性和排序性的监测。 模型的验证与监控 模型对违约与非违约人群的区分度 申请评分卡的目的 尽可能地区分出潜在的逾期人群和非逾期人群 区分人群的手段 分数的高、低 区分度的衡量 KS，阈值＝30％，KS值越高表明区分能力越强 Gini Score Divergence Score 模型的验证与监控 模型对违约与非违约人群的区分度(续) 通常来讲，评分分布会出现双峰 模型的验证与监控 模型的验证与监控 模型的验证与监控 目录 评分卡模型常用的评价指标 模型的验证与监控 实际违约率与预期违约率 模型的调优 实际违约率与预期违约率 实际违约率与预期违约率 实际违约率与预期违约率 目录 评分卡模型常用的评价指标 模型的验证与监控 实际违约率与预期违约率 模型的调优 模型调优的必要性 模型需要进行必要的调优，当遇到如下情形时： 1，监控结果不满足要求 连续3个月的KS、AR低于30%，PSI高于25% 2，产品发生变化 额度提高，周期提高，利率降低 3，人群发生变化 准入政策发生变化 4，其他宏观因素发生变化 模型的调优 特征层面的调整 特征层面的调整通常分为2种： 1，舍弃或者新增特征 例如：舍弃“过去6个月的平均还款率”，新增“过去3个月的最低还款率” 2，调整特征计算方法或者分箱方法 例如：对年龄进行重新分箱 调整的原则是： 当变量的PSI显著升高，或者IV显著降低时，需要做调整 模型的调优 分数层面的调整 根据新的样本和(或)调整后的特征，重新进行模型训练，估计模型参数 要求： 新模型的KS、AR等指标不低于原有模型以及30％的标准 PSI不高于原有模型以及25％的标准 模型的调优 疑问 小象学院：互联网新技术在线教育领航者 微信公众号：小象 新浪微博：ChinaHadoop 联系我们 */48 互联网新技术在线教育领航者 互联网新技术在线教育领航者 互联网新技术在线教育领航者 互联网新技术在线教育领航者 LOGO