武汉理工大学信息理论与编码第二章 信息的度量（七）.pdfVIP

任意三个离散随机变量 、 和 ， 2.9 X Y Z 求证：H (XYZ ) H (XY )  H (XZ ) H (X ) 。 证明：∵ H (XYZ ) H (XY ) H (Z | XY ) H (XZ ) H (X ) H (Z | X ) 所以，求证不等式等价于求证 H (Z | XY )  H (Z | X ) ∵条件多的熵不大于条件少的熵， 上式成立，原式得证。 2.12 任意三个离散随机变量 、 和 ，求证： X Y Z H (XYZ ) H (XZ ) H (Y | X ) I (Z ;Y | X ) 证明： 利用性质证明，从右向左推导如下。 H (XZ ) H (Y | X ) I (Z ;Y | X ) H (XZ ) H (Y | X ) [H (Y X ) H (Y XZ )] H (XZ ) H (Y | XZ ) H (XYZ ) 证毕。 2.13 有一离散无记忆信源，其输出为X {0,1, 2}，相应的概 率为P (0) 1/ 4 ，P (1) 1/ 4 ，P (2) 1/ 2 ，设计两个独立试验去 Y {0,1} Y {0,1} 观察它，其结果分别为 1 ， 2 ,已知条件概率如 表题2.13-1 所列。   P Y | X   表题 2.13-1 条件概率 1 和P Y | X 2   P Y | X   2 P Y | X Y Y 1 0 1 0 1 0 1 0 0 1 0 X 1 0 1 X 1 1 0 2 1/2 1/2 2 0 1 (1) 求  和  ，并判断哪一个试 I X ；Y I X ；Y 1 2 验好些； (2) 求 ，并计算做 和 两个试验   Y Y I X ；Y Y 1 2 1 2 比单独做 或 中的一个试验多获得