信息论试卷题目及结果解析.docVIP

中国海洋大学2008—2009学年第一学期 一、填空题（每空2分，共20分） 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 离散平稳无记忆信源的次扩展信源的熵等于离散信源的熵的N倍。 对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的? 上凸 函数。 信道矩阵代表的信道的信道容量C=，达到信道容量的条件是输入符号等概分布。 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 ?0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。 二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对） 三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 (3分) 2、对于任意概率事件集X、Y、Z，证明下述三角不等式成立 证：因为 ，(3分) 所以： (3分) 所以原命题得证。 3、什么是保真度准则？对二元信源，其失真矩阵，求时率失真函数的和？ 答：1)保真度准则为：平均失真度不大于允许的失真度。（3分） 2)因为失真矩阵中每行都有一个0，所以有（2分）， 而。（5分） 四、计算题（第1、2、3题每题15分，第4题10分，共55分） 1、黑白气象传真图的消息只有黑色和白色两种，求：（1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型，假设图上黑白消息出现前后没有关联，求熵；（2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求其熵。 答：（1）信源模型为 (5分) (5分) （2）由 （）(3分) 可得 得 (3分) 则 (4分) 2、设有一离散信道，其信道矩阵为，求（1）最佳概率分布？（2）当，时，求平均互信息和信道疑义度；（3）输入为等概分布时，试写出一译码规则，使平均译码错误率最小，并求此。 答：（1）是准对称信道，因此其最佳输入概率分布为(2分) (2)由已知的输入概率空间和信道转移概率，可求得输出概率 (2分) (2分) (2分) (2分) 平均互信息(2分) (2分) 信道疑义度(2分) (3)此时可用最大似然译码准则，译码规则为 ，， (2分) 平均译码错误率 (2分) 3、（共20分）某离散无记忆信源符号集为 ，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为{0，1，2，3}。 1）????? H(X)及信源剩余度 ；（2+2＝4分） 信源的熵： ????????????????????????????????????????????????????????????????? （2分） 信源剩余度： ?? （2分） 2）????? Huffman编码；（5分） ，其中 ，若取 ，可得大于9但与9最接近的正整数10，因此在Huffman编码是加入一个零概率符号。 编码为332； 编码为331； 编码为330； 编码为32； 编码为31； 编码为30； 编码为2； 编码为1； 编码为0 3）????? ，编码效率 及编码器输出的信息传输率（码率）R。 平均码长： 码元/信息符号（2分） 编码效率： 0.9194（2分） 信息传输速率： 1.8388比特/符号（2分） 4、已知加性高斯白噪声(AWGNAdd itiveWhite Gaussian Noise)信道，信号的带宽范围为300～3400Hz，信号与噪声功率比为26 dB，（1）计算该信道的最大信息传输速率；（2）若信号与噪声功率比降到10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？ 解：（1）计