信息编码练习题答案或提示.docVIP

第二章部分习题 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 答：2倍，3倍。 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) (2) 任取13张，各点数不同的概率为 居住某地区的女孩子有是大学生，在女大学生中有是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ ：1.415比特。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)， 设离散无忆信源，其发出的消息为，求 (1) 此消息的自信息量是多少？ (2) 在此消息中平均每个符号携带的信息量是多少？ 解：(1)87.81比特， (2)1.951比特。 提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。 从大量统计资料知道，男性中红绿色盲的发病率为 ，女性发病率为，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ (1) 男性回答是的信息量为，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。 (2) 0.045425比特 设信源，求这信源的熵，并解释为什么不满足信源熵的极值性。 提示：信源的概率之和大于1。 同时掷两个正常的骰子，也就是各面呈现的概率都为，求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量； (3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) 4.17比特/符号，提示：3和5同时出现的概率为(2) 5.17(比特/符号，提示：两个1同时出现的概率1/36 (3) “”的概率:1/36,共有6种情况; “两个点数不同”的概率:1/18,共有15中情况.故平均信息量为: 4.337比特/符号 (4) 3.274比特/符号 (5) 1.711(比特/符号提示：至少有一个1出现的概率为 证明 提示：见教材式(2.1.26)和(2.1.28) 证明，并说明等式成立的条件。 提示：见教材第38页 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：(1) 先求忙闲的概率分布，无条件熵0.964比特/符号(2) ，0.859比特/符号(3) I(X;YZ)=0.105比特/符号 有两个二元随机变量，它们的联合概率为 Y X 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量(一般乘积)。试计算： (1) ； (2) 和； (3) 。 解：提示：的联合概率分布 XZ的联合概率分布 YZ的联合概率分布 Z的概率分布 (1) 1比特/符号，1比特/符号，0.543比特/符号，1.406比特/符号，1.406比特/符号，1.811比特/符号 (2) 0.811比特/符号，0.811比特/符号，0.863比特/符号，0.406比特/符号，0.863比特/符号，0.406比特/符号，0.405比特/符号 (3) 0.189比特/符号，0.137比特/符号，0.137比特/符号，0.458比特/符号，0.406比特/符号，0.406比特/符号 略 设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算； (3) 试计算并写出信源中可能有的所有符号。 解：(1) 是 (2) 信源熵0.971比特/信源符号，比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。 (3)比特/信源符号， 信源中可能的符号共16个。 设是平稳离散有记忆信源，试证明：。 提示：见教材第44页 略 一阶马尔可夫信源的状态图如题2.16图所示。信源的符号集为。 (1) 求平稳后信源的概率分布； (2) 求信源的熵。 题2.16图 解：(1)由图得一步转移概率矩阵，状态极限概率 (2) 2.17 黑白气象传真图的消息只有黑色和白色两种，即信源。设黑色出现的概率为p(黑)