互信息在数据处理不等式中的加减极限.docVIP

互信息在数据处理不等式中的加减极限

一、互信息与数据处理不等式的基础概念

（一）互信息的定义与本质

互信息（MutualInformation）是信息论中用于衡量两个随机变量之间依赖关系的核心指标，它量化了一个变量所能提供的关于另一个变量的信息量。对于两个离散随机变量(X)和(Y)，其互信息(I(X;Y))定义为：[I(X;Y)=\sum_{x\inX}\sum_{y\inY}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}]其中(p(x,y))是(X)和(Y)的联合概率分布，(p(x))和(p(y))分别是(X)和(Y)的边缘概率分布。从本质上看，互信息是联合分布(p(x,y))与独立分布(p(x)p(y))之间的相对熵（Kullback-LeiblerDivergence），它反映了两个变量之间的统计相关性：当(X)和(Y)相互独立时，(I(X;Y)=0)；当(X)和(Y)完全相关时，(I(X;Y))达到最大值，等于(X)或(Y)的熵。

对于连续随机变量，互信息的定义通过积分替代求和：[I(X;Y)=\int_{X}\int_{Y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}dxdy]无论是离散还是连续情况，互信息都具有非负