信息论中重要不等式.ppt

相对熵和互信息 附：信息论中的重要不等式 主要内容 信息论中的重要不等式 相对熵 互信息 1.4 重要不等式 对任意实数 对任何两组满足条件 的实数， 重要不等式 对任何两组实数 , 重要不等式 詹森不等式 是一个随机变量， 表示 的数学期望， 是上凸函数，则 费诺不等式 是在 中取值的随机变量，记 则 相对熵（互熵） 两个概率分布“差异性”的度量值，也是一种重要的信息度量 . 同一字母集上两个概率分布的相对熵： 对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时的差异. 相对熵的性质 ，等号成立 是概率分布对 的凸函数 互信息 互信息 I(信息量)=不确定程度的减小量 如果信道是无噪的，当信源发出消息x后，信宿必能准确无误地收到该消息，彻底消除对x的不确定度，所获得的信息量就是x的不确定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了 . 互信息 1. 互信息 (1) yj对xi的互信息 I(xi;y