信息论与编码习题集五邑大学.docVIP

期中习题 1、 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求： (1) 事件“3 和5 同时出现”的自信息量； (2) 事件“两个l 同时出现”的自信息量； (3) 两个点数之和(即2，3，?，12 构成的子集)的熵； (4) 事件“两个骰子点数中至少有一个是1”的自信息量。 2、某一无记忆信源的符号集为{0，1}，已知p(0) =1/ 4,p(1) = 3/ 4。 (1) 求信源的熵。 (2) 由100 个符号构成的序列，求某一特定的序列(例如有m 个“0”和100 ?m 个“1”)的自信息量的表达式。 (3) 计算(2)中的序列的熵。 3、在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}， 信道传输概率p(y=1| x=0)=1/4， p(y=0 | x=1)=1/8。求： (1) 在接收端收到y=0 后，所提供的关于传输消息x 的平均条件互信息I(X；y=0)； (2) 该情况下所能提供的平均互信息量I(X；Y)。 4、 5、 6、 7、已知二元信源以及失真矩阵，求（1）；（2）；（3）。 答案： 1、 2、 3、 4、 5、 （2） （3） 6、 7、解：（1）； 达到的信道为一个一一对应的无噪信道，所以 （2）最大允许失真度为 如果 如果 （3）因为二源对称信源，所以 4