信息论中的重要不等式.pptVIP

信息论中的重要不等式;主要内容;1.4 重要不等式;重要不等式;重要不等式;相对熵（互熵）;相对熵的性质;互信息;互信息; 1. 互信息 (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi的不确定度 ＊ I(xi;yj) __收到yj而得到(关于xi )的互信息 =不确定度的减少量; (2) xi对yj的互信息 I(yj;xi) [含义] 信源发xi前、后， 信宿收到yj的不确定度的减少;2. 互信息的性质 (1) 对称性——I(xi ;yj) = I(yj ;xi) (