05电信信息论与编码试卷B答案.docVIP

2007 — 2008 学年第 二 学期 《信息论与编码》课程考试试卷B参考答案 注意：1、本试卷共 3 页； 2、考试时间120分钟 3、姓名、学号必须写在指定地方 阅卷负责人签名： 题 号 一 二 三 四 五 六 七 八 总 分 得 分 阅卷人 得分 一、（8分）简答：1、什么是平均自信息（信息熵）？什么是平均互信息？ 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 二、（12分）把已知信源接到如图所示的信道上，求在该信道上传输的平均互信息量、疑义度、噪声熵和联合熵。 解、求出各联合概率（2分） 求出Y集各消息概率 求出 （2分） （2分） （2分） （2分） （2分） 阅卷人 得分 三、（15分）设有一信源，它在开始时以P(a)=0.6, P(b)=0.3, P(c)=0.1的概率发出X1。如果X1为a时，则X2为a,b,c的概率为1/3；如果X1为b时，则X2为a,b,c的概率为1/3；如果X1为c时，则X2为a,b的概率为1/2, 为c的概率为0。而且，后面发出Xi的概率只与Xi-1有关，又P(Xi|Xi-1)=P(X2|X1) i(3。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H(。. 解：画出的状态转移图如下： （2分） a :1/3 b:1/3 c:1/3 a:1/3 a:1/2 c:1/3 b:1/3 b:1/2 求出极限状态分布，可得方程为 (6分) 解之得 （3分） 求出 =1.439bit/symbol （4分） 阅卷人 得分 四（10分）.试证明 若， 则 证明: (2分) （2分） （2分） （1分） （1分） （2分） 阅卷人 得分 五、（20分）信源空间为，试分别构造二元霍夫曼码，计算平均码长和编码效率。1）二元哈夫曼码的码字依序为：10，11，000，001，010，0110，0111。（6分）平均码长 bit/symbol （2分） 编码过程略 编码效率 （2分）2）二元香农码的码字依序为：000，001，010，011，100，1010，1111111。（6分） 平均码长 bit/symbol （2分） 编码过程略编码效率 （2分） 阅卷人 得分 六（10分）求以下两信道，的信道容量。 解:=0.0817bit/symbol (4分) 将P2分解为， (2分) =0.0612bit/symbol （4分） 阅卷人 得分 七（10分）.对二元信源，其失真矩阵，求a0时率失