《风险模型》课件 5 KL散度和Bregman散度（可略）.pptxVIP

EDF的KL散度和Bregman散度;在评价GLM时，均方误差（MSE）不再适用，因为GLM的方差结构依赖于均值。取而代之的，是一种由似然原理（LikelihoodPrinciple）导出的度量——偏差（Deviance）

偏差是以KL散度为基础的似然距离，而KL散度又是Bregman散度的一种特例。

本节主要内容：

KL散度

Bregman散度;KL散度

（Kullback–LeiblerDivergence）;?;EDF的KL散度：;EDF的KL散度;Bregman散度;Bregman散度的统计意义：

统一框架：为各种损失函数和偏差度量提供统一视角

最优性保证：确保在正确模型设定下估计的最优性

模型诊断：提供基于散度的模型诊断工具

不同的统计模型本质上是在不同的几何结构下寻找数据的最佳近似。

所有EDF的负对数似然都对应一个Bregman散度！;若令：;?;Bregman散度与KL散度的关系;分布