KL散度中的对数比值期望极限四则.docVIP

KL散度中的对数比值期望极限四则

一、KL散度的核心定义与对数比值的本质

KL散度（Kullback-LeiblerDivergence），又称为相对熵，是信息论中用于衡量两个概率分布之间差异的重要指标。其定义式为：$$D_{KL}(P||Q)=\mathbb{E}_P\left[\log\frac{P(X)}{Q(X)}\right]$$其中，$P$和$Q$是定义在同一概率空间上的两个概率分布，$\mathbb{E}_P$表示关于分布$P$的期望。从公式可以看出，KL散度的核心是对数比值$\log\frac{P(X)}{Q(X)}$关于分布$P$的期望，这一结构决定了它的所有性质和应用都围绕着“对数比值”和“期望”这两个核心要素展开。

对数比值$\log\frac{P(X)}{Q(X)}$的本质是对两个概率分布在每个样本点上的差异进行非线性缩放。当$P(X)Q(X)$时，对数比值为正，表示分布$P$在该点的概率密度高于$Q$，差异被正向放大；当$P(X)Q(X)$时，对数比值为负，表示分布$P$在该点的概率密度低于$Q$，差异被负向放大；当$P(X)=Q(X)$时，对数比值为0，说明两个分布在该点完全一致。这种非线性缩放的特性使得KL散度对两个分布在高概率区域的差异更为敏感，因为高概率区域的样本对期望的贡献更大。

二、KL散度中对数比值期望的极限性质

（一）极限