信息论和编码 ch03信源熵.pdfVIP

上节课回顾 上节课回顾 信息量与不确定性的关系，数学表达？ 信息量与不确定性的关系，数学表达？ 互信息量的定义? 互信息量的定义? 从信宿的角度看，互信息量的含义是什 从信宿的角度看，互信息量的含义是什 么？ 么？ 从简单通讯系统的角度看，互信息量的含 从简单通讯系统的角度看，互信息量的含 义是什么？ 义是什么？ 互信息的引出，使信息流通问题进入了定量分 析的范畴，为信息流通的定量测量打下了坚实 的基础，把信息理论发展到了一个更深的层 次，可以认为是信息论发展的又一个里程碑。 后验概率 互信息量=log 先验概率 ② 互信息的性质 对称性 相互独立时的X 和Y 互信息量可为正值或负值 不大于其中任一事件的自信息量 对称性 I(x ;y )=I(y ; x ) i j j i 推导过程 p (x i / y j ) p (x i / y j )p (y j ) I (x y ) log log ； i j p (x ) p (x )p (y ) i i j p (x y ) / p (x ) p (y /x ) log i j i log j i I (y ；x ) p (y j ) p (y j ) j i 互信息量的对称性表明： 两个随机事件的可能结果x 和y 之间的统计约束程度； i j 从y 得到的关于x 的信息量I(x ;y )与从x 得到的关于y 的信 j i i j i j 息量I(y ; x )是一样的，只是观察的角度不同而已。 j i 互信息量描述了两个随机事件x 、y 之间的统计约束程度，假 i j 如先验概率确定了，其后验概率就决定了信息的流通。 相互独立时的X 和Y 这时 p (x y )=p (x )p (y ) i j i j 互信息量为 1 1 I (x ; y ) log2 −log2 0 i j p (x )p (y ) p (x y )