第二章作业解答讲解.pptVIP

* 作业解答 第二章 基本信息论 2.3 试求： (1) 在一付标准扑克牌中抽出一张牌的平均信息量； (2) 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 解 (1) 每张牌不同，共有 54 种状态且等概， 平均信息量为： (2) 只按等级，共有 14 种状态，其状态空间为： 2 3 …… …… A Q p(x) 王 K J X 平均信息量为： 2.5 一个发射机发出 A、B、C 三个消息，它的先验概率 与条件概率分别为： 2 / 27 16 / 27 9 / 27 p(i) C B A i j p( j / i ) 0 4 / 5 1 / 5 1 / 2 1 / 2 0 1 / 2 2 / 5 1 / 10 A B C i A B C 试求：(1) 该信源的熵？ (2) 若信源的消息之间无关，信源熵为多少？ (3) 该信源的剩余度？ 首先求联合概率： p ( i j ) = p( i ) p( j / i ) j p( i j ) 0 36 / 135 9 / 135 16 / 54 16 / 54 0 2 / 54 4 / 135 2 / 270 A B C i A B C 已知 2 / 27 16 / 27 9 / 27 p(i) C B A i j p( j / i ) 0 4 / 5 1 / 5 1 / 2 1 / 2 0 1 / 2 2 / 5 1 / 10 A B C i A B C 解 (3) 信源的剩余度为： (1) 该信源的熵(即条件熵)为： (2) 若信源的消息之间无关，信源的熵(即无条件熵)为： 解 2.11 某学生常因患感冒请假缺课，现调查缺课请假是否与就寝 时间有关, 设 X1 表示缺课, X2 表示上课, Y1 表示就寝时间 过晚，Y2 表示正确就寝，得到如下调查结果： 0.9 0.1 p(x) X2 X1 X X1 X2 p( y/x) 0.5 5/18 0.5 13/18 Y1 Y2 0.7 0.3 p(y) Y2 Y1 Y 试问该生缺课与就寝时间的关系？ 解 (1) 计算联合概率 p(x y) 和条件概率 p(x /y) ： X1 X2 p( x y) 0.05 0.25 0.05 0.65 Y1 Y2 X1 X2 p( x /y) 1/6 5/6 1/14 13/14 Y1 Y2 (2) 计算熵、条件熵以及联合熵： 解 (2) 计算熵、条件熵以及联合熵： 解 (2) 计算熵、条件熵以及联合熵： (3) 上述三组只需计算其中一组。由于无条件熵与条件熵相 差不大，说明该生缺课与就寝时间没有太大的关系。 解 2.13 某二元数字通信系统, 以每秒 1000 码元的速度传输 0 和 1, 且 0 和 1 的概率分别为 p(0)=1/3, p(1)=2/3。由于信道有噪声, 误 码率为 Pe = 0.2×10 -2 比特, 试 求接收的信息速率。 i (发) p( j / i ) 0.998 0.002 0.002 0.998 0 1 j (收) 0 1 (1) 求出联合概率和接收概率. 0 1 (收) 1.002/3 1.998/