信息论部分习题及解答.docVIP

2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。 （2）“两个1同时出现” 这事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解： （1）设X为‘3和5同时出现’这一事件，则P（X）=1/18，因此 (比特) （2）设‘两个1同时出现’这一事件为X，则P（X）=1/36，因此 (比特) (3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 (比特/组合) （4） （5）两个点数至少有一个为1的概率为P（X）= 11/36 （比特） 2-6设有一离散无记忆信源，其概率空间为 该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求： 此信息的自信息量是多少？ 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得 （2） 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求： （1）一次实验包括的不确定度。 （2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； （3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。 解：（1） （2） （3） （4） 2-11两个试验X和Y，，联合概率已给出， 如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的试验结果，你得到的平均信息量是多少？ 在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量是多少？ 解： （1） （2） （3） 2-12有两个二元随机变量X和Y，他们的联合概率如表所示，并定义另一随机变量Z=XY（一般乘积）。试计算： (1) H（X），H（Y），H（Z），H（XZ），H（YZ）和H（XYZ）。 (2) H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y ），H（X/YZ） H（Y/XZ）和H（Z/XY）。 (3) I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X）和I（X；Z/Y）。 X Y 0 1 0 1/8 3/8 1 3/8 1/8 解： （1） (比特/符号) 比特/符号 由表得 比特/符号 比特/符号 比特/符号 （2） (3) 2-13一个信源发出二重符号序列消息（i , j），其中第一个符号i 可以是A，B，C中的任一个，第二个符号j可以是D，E，F，G中的任一个。已知各个值列成如下表。求这个信源的熵（联合熵）。 A B C 1/2 1/3 1/6 D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 解： 2-14在一个二进制信道中，信源消息集X={0，1}，且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率p(1/0)=1/4,p(0/1)=1/8。求： （1）在接收端收到y=0后。所提供的关于传输信息x的平均互信息量I（X；y=0）。 该情况所能提供的平均互信息量I（X；Y）。 解： （1）= 信道转移概率矩阵为 由得 关于的边际分布为 由得信道逆向转移概率矩阵 所以 2-24某一无记忆信源的符号集为{0，1}，已知。 （1）求符号的平均熵。 （2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式。 （3）计算（2）中的序列的熵。 解：（1） （2） （3）由于该信源是无记忆的符号集，所以 3-1将某六进信源进行二进编码如下表所示。求 (1)这些码中哪些是唯一可译码？ （2）哪些码是非延长码（即时码）？ （3）所有唯一可译码的平均码长和编码效率。 符号 概率 1/2 000 0 0 0 1 01 1/4 001 01 10 10 000 001 1/16 010 011 110 1101 001 100 1/16 011 0111 1110 1100 010 101 1/16 100 01111 11110 1001 110 110 1/16 101 011111 111110 1111 110 111 解