信息论中期习题测验与答案.docVIP

居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设事件A表示女大学生，B表示身高1.6m以上的女孩，则 p(A)=0.25,p(B)=0.5,p(B/A)=0.75, 所以 每帧电视图像可以认为由3*105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率分布，问每帧含有多少信息量？ 解： 二重扩展信源的熵为H(X2), 一阶马尔可夫信源的熵为H(X2/X1), 试比较两者的大小，并说明原因。 解：因为，所以。因为一阶马尔可夫信源符号间是相关的，具有记忆性。 设有一信源，它产生0、1序列的消息。该信源在任意时间不论以前发生过什么消息符号，均按p(0)=0.4, p(1)=0.6的概率发出符号。 这个信源是否平稳？ 计算H(X2), H(X3/X1X2), 以及。 计算H(X4), 并写出X4信源可能发出的所有符号。 解：（1）该信源是离散无记忆信源，对任意i1,i2,…,iN和h0,有 ,所以该信源是平稳的。 （2） （3） 可能发出的符号：0000,0001,0010,0011,0100,0101,0110,0111,1000,1001,1010,1011,1100,1101,1110, 1111. 一阶马尔可夫信源的状态转移图如下图所示，信源符号集为{0，1，2}。求： （1）稳态后信源的概率分布 （2）信源熵。 （3）当p=0或p=1时信源的熵，并说明理由。 P’P P’ P’ P’ p p p 0 1 2 解：（1）状态转移矩阵 由WP=W, 得，整理后得 （2） （3）当, 当。信源熵表示的是信源的平均不确定度。p=0或p=1表明由某一状态转换成另一状态的情况一定发生或一定不发生，是确定事件，因此平均不确定度为零，即熵为零。 6、设有一信源发出符号A和B,它们是相互独立的，并已知p(A)=1/4, p(B)=3/4。 （1）计算信源熵。 （2）若用二进制代码组传输消息，，求p(0)和p(1)。 （3）该信源发出二重符号消息时，采用费诺编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。 （4）该信源发出三重符号消息时，采用霍夫曼编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。 解: (1) (2) (3)对二重符号信源采用费诺编码，结果为 (码字不唯一) BB: 0, BA: 10, AB: 110, AA:111 单个符号的平均码长为： 平均传输速率 码元0和1的概率为 (4)对三重符号信源采用霍夫曼编码，结果为 (码字不唯一) BBB: 1, BBA:001, BAB: 010, BAA:00000, ABB: 011, ABA: 00001, AAB: 00010, AAA: 00011 单个符号的平均码长为： 平均传输速率 码元0和1的概率为