信息论习题答案---陈前斌版.docVIP

第2章习题 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。 解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18 I＝log2（18）＝ 4.1699bit。 （2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。 （3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。 不同点出现时有15种，概率1/18。 H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。 （4） i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。 （5）P（1、1or1、j or i、1）＝1/36+5/36+5/36＝11/36。 I＝log2（36/11）＝1.7105bit/ 2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以 上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学 生”的消息，问获得多少信息量？、 解：P（女大学生）＝1/4；P（身高1.6m / 女大学生）=3/4；P（身高1.6m）＝1/2； P（女大学生 / 身高1.6m）＝P（身高1.6m、女大学生）/P（身高1.6m ） ＝3/4*1/4*2＝3/8 I＝log2（8/3）＝1.4150bit。 2-7两个实验和，联合概率为 （1）如果有人告诉你和的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你的实验结果，你得到的平均信息量是多少？ （3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？ 解： P(x,y) Y .x y1 y2 y3 X x1 x2 x3 7/24 1/24 0 1/24 1/4 1/24 0 1/24 7/24 1/3 1/3 1/3 .y 1/3 1/3 1/3 （1） （2） （3） 2．11某一无记忆信源的符号集为，已知，。 （1）求信源符号的平均信息量； （2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的表达 （3）计算（2）中的序列熵。 解：（1）因为信源是无记忆信源，所以符号的平均熵 （2）某一特定序列（例如：m个0和100-m个1）出现的概率为 所以，自信息量为 （3）序列的熵 2-13 有一个马尔可夫信源，已知转移概率为 。 试画出状态转移图，并求出信源熵。 解：（1）由题意可得状态转移图 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 一步转移矩阵 由和可得方程组 解方程组得到各状态的稳态分布概率， 因为， 所以信源的熵 2-14有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下： j i 1 2 3 1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 （1）求的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求和它们对应的冗余度。 解：（1） 方法一、 因为 可以计算得到 所以， 所以，平均符号熵 方法二、 所以，平均符号熵 （2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布. 由题意得到一步转移矩阵 由和可得方程组 解方程组得到各状态的稳态分布概率， 所以信源平稳后的概率分布为 因为信源为一阶马尔可夫信源，所以信源的熵 （3） 对应的冗余度分别为 2-16 一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。 （1）求平稳后的信源的概率分布； （2）求信源熵； （3）求当和时信源的熵，并说明其理由。 解：（1）由状态转移图可得状态一步转移矩阵 由状态转移图可知：该马尔可夫