信息论与编码试卷及答案.docx

..

一、〔11’〕填空题

(1)1948年，美国数学家香农发表了题为通信的数学理论〞的长篇论文，从而创立

了信息论。

(2)必然事件的自信息是0。

(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

(4)对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

(5)假设一离散无记忆信源的信源熵H〔X〕等于2.5，对信源进展等长的无失真二进制编码，

那么编码长度至少为3。

(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

(7)某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能

纠正___1__个码元错误。

(8)设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C〔大于、小于或者等于〕，那么存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

(9)平均错误概率不仅与信道本身的统计特性有关，还与___译码规那么____________和___编码

方法___有关

三、〔5〕居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，

而女孩中身高1.6米以上的占总数的一半。

假设我们得知身高1.6米以上的某女孩是大学生〞的消息，问获得多少信息量.

解：设A表示大学生〞这一事件，B表示身高1.60以上〞这一事件，那么

P(A)=0.25p(B)=0.5p(B|A)=0.75〔2分〕

.v.

故即〔

故即

〔2分〕

故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375〔2分〕

I(A|B)=-log0.375=1.42bit〔1分〕

四、〔5〕证明：平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY)

证明：

I(X;Y)=xXxYp(xiyj)logpxyji))

=-xXxYp(xiyj)logp(xi)--xXxYp(xiyj)logp(xiyj)

=H(X)-H(XY)

同理

I(X;Y)=H(Y)-H(YX)

那么

因为

H(XY)=H(X)+H(YX)

〔1分〕

〔1分〕

I(X;Y)=H(X)+H(Y)-H(XY)〔1分〕

五、〔18’〕.黑白气象图的消息只有黑色和白色两种，求：

1〕黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵H(X)；

.v.

..

，，2〕假设黑白消息出现前后有关联，其依赖关系为

，

，

，，求其熵Hw(X)。

3〕分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

解：1〕信源模型为〔1分〕

2〕由题意可知该信源为一阶马尔科夫信源。〔2分〕由

〔4分〕

得极限状态概率

〔2分〕

〔3分〕

3〕

Y1=1-H