08_信息论练习.docVIP

+ 依稀记得老师说过谁把答案也拷了，看到此文件的有答案的，还请共享 thanks~^_^ 大唐研究院研究生课程 信息论练习 （2008．5） 1． 在CBA篮球联赛中，有A、B两球队进入决赛争夺冠军。比赛采用7场4胜制，首先赢得4场胜利的球队将获得冠军。设两球队在每场比赛获胜的机会均等，把产生冠军所有可能的中间比赛结果看成由一个信源X产生的随机事件，例如：AAAA表示事件“A队前4场取得胜利”，ABBAAA表示事件“A队在第1、4、5、6场取得胜利且B队在第2、3场取得胜利”，…； （1）求信源熵H（X）； （2）A队在前三场失利的条件下又取得冠军的概率有多大？该事件发生后提供多大的信息量？ （3）求事件“两队打满7场” 所提供的信息量。 （9+6+5=20分） 2．求如下信道的容量与达到容量时的输入概率分布： （5+4=9分） 3．一盒子内有三枚形状相同的硬币，其中第一枚是均匀的，第二枚在抛掷落下后正面朝上的概率是3/4，而第三枚在抛掷落下后正面朝上的概率是1/4。现从盒中随机地取出其中的一枚，进行了三次抛掷，通过每次观察硬币朝上的正反面，对所取出的硬币进行判决； 如果某次试验结果为：“正面、正面、反面”，求该试验结果与事 件“取出的是第一枚硬币”之间的互信息； 根据（1）的试验结果，利用最佳判决准则确定所取的硬币是哪 一枚； 求取出第2枚硬币的条件错误率； 如果反复进行上述取出硬币并抛掷三次的试验并根据所有的“三 次抛掷”结果进行最佳判决，求平均错误率。 （8+4+4+4=20分） 4. 一个离散无记忆信源的符号集为，对应的概率分布为0.15、0.15、0.3、0.4，对该信源进行二元Huffman编码,码字集合为： {0,10,110,111}； （1）列出信源符号与码字的对应表； （2）计算信源的熵H(X)和编码器的码率R； （3）求编码序列中0和1出现的概率p0、p1； （4）求编码序列中的条件概率p0|0、p1|1； （5）求长度为j的不同编码序列的个数N(j)。 （4+4+6+6+6=26分） 5．一个通信系统的信源为二维高斯信源，通过线性变换作为一个二维并联加性高斯噪声信道的输入，即，其中，，信道的输出为 ，噪声为 ，其中、为独立于输入同时又相互独立的均值为零，方差分别为1和2的高斯噪声。设的均值为零，自协方差矩阵为 ，系统的模型如下图所示： U1 X1 Y1 U2 X2 Y2 求信源的熵； 求噪声的熵； 设， 求的自协方差矩阵； 求的熵； （iii）求，，； 将信道输入总方差限制为5，求从到并使信道达到容量的线性变换A，并求此信道容量的值。 （4+4+9+8=25分） 3 A