JS散度中的对称化极限四则处理.docVIP

JS散度中的对称化极限四则处理

在信息论与机器学习领域，散度（Divergence）是衡量两个概率分布差异程度的核心工具。其中，JS散度（Jensen-ShannonDivergence）因具备对称性、非负性等优良性质，被广泛应用于分布比较、生成模型评估（如GAN的训练稳定性分析）等场景。然而，当处理高维数据、小样本分布或极端概率值（如趋近于0或1）时，JS散度的计算常面临数值不稳定问题，尤其是在涉及极限运算的场景中。本文将聚焦JS散度的对称化本质，系统探讨其在极限情况下的四则运算处理方法，为实际工程应用提供理论支撑与实践指导。

一、JS散度的定义与对称化本质

1.1JS散度的数学表达

JS散度是基于KL散度（Kullback-LeiblerDivergence）的对称化扩展，其定义为两个概率分布(P)和(Q)与它们的平均分布(M=\frac{1}{2}(P+Q))之间KL散度的算术平均：[JS(P\parallelQ)=\frac{1}{2}KL(P\parallelM)+\frac{1}{2}KL(Q\parallelM)]其中，KL散度的定义为：[KL(P\parallelQ)=\sum_{x}P(x)\log\frac{P(x)}{Q(x)}]（连续分布下替换为积分形式）

1.2对称化的核心优势

KL