信息论考试试卷A附标准答案.docVIP

PAGE 1 1、选择题(共10分，每题2分) B D B C B 2、（本题10分）一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)= 1/8, p(2)=1/4, p(3)= 1/4.求此消息的剩余度为多少？试求由无记忆信源产生的60个符号构成的所有消息所含的平均信息量（bit/消息）. 解： H（X）=H（3/8，1/8，1/4，1/4）（2） =1.9bit/符号（2） (3) H（X60）=60*H（X）=114bit/消息（3） 3、（本题12分）某一离散平稳信源，并设发出的符号只与前一个符号有关，即可用条件概率P(uj / ui)给出它们的关联程度如下表所示： ui uj 0 1 2 0 9/11 2/11 0 1 1/8 3/4 1/8 2 0 2/9 7/9 求此平稳信源的极限熵及信源效率. 解：联合概率P(uiuj)的关联程度如下表所示（3） ui uj 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 H∞=H(U2 /U1)=0.872bit/符号（3） H0=H（1/3，1/3，1/3）=1.6bit/符号（3） 信源效率：H∞/H0=54.5%（3） 4、（12分）设信源X的符号集为{0，1，2}，其概率分布为，，每信源符号通过信道传输，输出为Y，信道转移概率如图所示： 求（1）H(Y)；???????????????????（6分） ? （2）H(XY)；????? （2分） ? （3）I(X;Y).??????????????? （4分） 解：(4) ? Y P(xy) 0 1 X 0 0 1 2 0 ? Py(0)= Py(1)= （1）(2) （2）? (2) （3）? (2) ?????? (2) 5、（共20分）某离散无记忆信源符号集为，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为{0，1，2，3}. 1）????? 求信源的熵H(X)及信源剩余度；（3+3＝6分） 信源的熵：（3分） 信源剩余度：?? （3分） 2）????? 对其进行四元Huffman编码；（5分） ，其中，若取，可得大于9但与9最接近的正整数10，因此在Huffman编码是加入一个零概率符号. 编码为112；编码为111；编码为110；编码为13；编码为12；编码为10；编码为3；编码为2；编码为0 或： 编码为332；编码为331；编码为330；编码为32；编码为31；编码为30；编码为2；编码为1；编码为0 ?3）????? 求平均码长，编码效率及编码器输出的信息传输速率R. 平均码长： 码元/信息符号（3分） 编码效率：0.9194（3分） 信息传输速率：1.8388比特/符号（3分） 6、 (共12分) 设有一离散信道，其信道矩阵如下： 求：当信源X的概率分布为时， 1)??????? 写出用最大后验译码的译码规则，并计算.(3+3=6分) 2)??????? 写出用最大似然译码的译码规则，并计算.(3+3=6分) 解:(1) 可得联合概率矩阵为: （1分） ??? 得译码判决为：? （各1分共3分） 从而:? （2分） (2) 由转移概率矩阵可得最大似然判决为：（1分） ??（各1分共3分） ?? （2分） 7、（12分）分析以下两个信道的对称性，并求信道容量：，. 解：P1为对称信道：（1） P2为准对称信道：（1） 8、某个（7，4）线性分组码的生成矩阵为，设接收码是，请译出发码的估值.（12分） 解：（6） （3） （3）