第5讲——熵与互信息练习讲解.pdf

第五讲 第五讲 熵与互信息习题讲解 熵与互信息习题讲解 熵与互信息习题讲解 Review 信源的数学模型 – 随机变量、随机序列 – 随机过程 信源的信息测度 – 简单离散信源：H(X) – 离散无记忆信源：H ∞(X) = H (X)=H(X) L – 离散有记忆信源：H∞(X) Review 基本概念 熵 – 定义 – 含义 非负性、对称性、确定性、扩展性、可加性、 – 性质 极值性、上凸性、唯一性、递增性 平均互信息 – 定义 – 含义 – 性质 对称性、非负性、极值性、信息不增原理 平均互信息与熵的关系 维拉图 维拉图 H(X) H(Y) I (X ;Y) H(X )−H(X |Y) H(Y)−H(Y |X ) H(X )+H(Y)−H(XY) H(X|Y) I(X;Y) H(Y|X) H XY H X H Y X ( ) ( ) + ( | ) H Y +H X Y ( ) ( | ) H XY ≤H X +H Y ( ) ( ) ( ) H X ≥H X Y ( ) ( | ) H(XY) H Y ≥H Y X ( ) ( | ) 维拉图 H(X) G I (X ;YZ) I (X , Y) +I (X ;Z | Y) I (X ;YZ) I (X ;ZY ) I (X ;Z ) +I (X ;Y | Z ) A C I (YZ;X ) I (X ;YZ) B I (X ;Y) I (X ;Z ) +I (X ;Y | Z ) −I (X ;Z |