第二章习题.解答.pptVIP

* 习题解答 第二章 基本信息论 第二章 习题解答 2.1 某大学设置有六个系，每个系的学生数分别为: 问： “某学生 A 是五系的学生” 这一消息提供的 信息量是多少？ 360 1 360 2 360 480 600 480 人数 6 5 4 3 系别 解 设 xi 表示消息 “某学生 A 是 i 系的学生”， 则状态空间为： x1 x2 p(x) x6 x5 x4 x3 X 消息 x5 所提供的信息量为： 2.2 某无线电厂生产 A, B, C, D 四种产品， 其中 A 占 10% , B 占 20%，C 占 30%，D 占 40%。有两个消息 “ 现在完 成一台 B 种产品 ”， “ 现在完成一台 C 种产品 ”， 试确 定哪一种消息提供的信息量大一些？ 则状态空间为： 消息 xB和 xC 所提供的信息量分别为： 解 设 表示消息“现在完成一台 种产品 ”， xA xB p(x) xD xC X 0.1 0.2 0.3 0.4 可见，消息 xB比消息xC 所提供的信息量大一些。 2.3 试求： (1) 在一付标准扑克牌中抽出一张牌的平均信息量； (2) 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 解 (1) 每张牌不同，共有 54 种状态且等概， 平均信息量为： (2) 只按等级，共有 14 种状态，其状态空间为： 2 3 …… …… A Q p(x) 王 K J X 平均信息量为： 2.4 设甲地的天气预报为：晴(占4/8)，阴(占2/8)，小雨(占1/8)， 大雨(占1/8)，乙地的天气预报为：晴(占7/8)，小雨(占1/8)， 试求两地天气预报各自提供的平均信息量。 解 (1) 甲地天气预报所提供的平均信息量为： (2) 乙地天气预报所提供的平均信息量为： 2.5 一个发射机发出 A、B、C 三个消息，它的先验概率 与条件概率分别为： 2 / 27 16 / 27 9 / 27 p(i) C B A i j p( j / i ) 0 4 / 5 1 / 5 1 / 2 1 / 2 0 1 / 2 2 / 5 1 / 10 A B C i A B C 试求：(1) 该信源的熵？ (2) 若信源的消息之间无关，信源熵为多少？ (3) 该信源的剩余度？ 首先求联合概率： p ( i j ) = p( i ) p( j / i ) j p( i j ) 0 36 / 135 9 / 135 16 / 54 16 / 54 0 2 / 54 4 / 135 2 / 270 A B C i A B C 已知 2 / 27 16 / 27 9 / 27 p(i) C B A i j p( j / i ) 0 4 / 5 1 / 5 1 / 2 1 / 2 0 1 / 2 2 / 5 1 / 10 A B C i A B C 解 (3) 信源的剩余度为： (1) 该信源的熵(即条件熵)为： (2) 若信源的消息之间无关，信源的熵(即无条件熵)为： 解 2.6 设有一测量某大坝水面高度并以 8 个等级向远处传送测量 结果的遥测装置，各等级出现的概率为： 2/16 100m 8/16 105m 1/16 110m 1/16 96m 1/16 115m 1/16 1/16 1/16 p(x) 130m 125m 120m x 试求剩余度为多少？ 解 信源熵为： 剩余度为： 息量，因此实际的平均信息量(即实际熵)为： 2.7 有一二元通信系统，传送 0 和 1 的概率分别为 1/4 和 3/4