信息论与编码理论——第二章习题解答试卷及答案.docxVIP

信息论与编码理论——第二章习题解答试卷及答案

考试时间：______分钟总分：______分姓名：______

一、填空题

1.设离散随机变量X取值为{x1,x2,...,xn}，其概率分布为P(X=x_i)=p_i，则X的信息熵H(X)定义为________。

2.对于离散无记忆信源，其N个符号的联合熵H(X1,X2,...,XN)与单个符号的熵H(X)的关系是________。

3.设有两个随机变量X和Y，X的熵H(X)=2bit，Y的熵H(Y)=3bit，且X和Y的互信息I(X;Y)=1bit，则H(X,Y)=________。

4.信息熵H(X)的一个重要性质是，当随机变量X的分布趋于均匀分布时，H(X)达到其最大值________。

5.对于连续随机变量X，其熵定义为H(X)=-∫_{-∞}^{+∞}f(x)logf(x)dx，其中f(x)是X的概率密度函数________。

二、判断题（请判断下列说法是否正确，正确的划“√”，错误的划“×”）

1.信息熵是一个非负的量。（）

2.如果随机变量X和Y相互独立，则它们的互信息I(X;Y)等于0。（）

3.对于任何随机变量X，其熵H(X)都不会超过其最大可能熵。（）

4.信源编码的目标是尽可能提高编码效率，即使编码后的平均码长接近信源熵。（）

5.连续随机变量的熵具有可加性，即如果X和Y独立，则H(X,Y)=H(X)+H(Y)。（）

三、计算题

1.设有一个信源，其符号集合为{A,B,C,D}，各符号出现的概率分别为P(A)=1/2,P(B)=1/4,P(C)=1/8,P(D)=1/8。求该信源的信息熵H(X)。

2.设离散随机变量X的概率分布为P(X=0)=0.3,P(X=1)=0.4,P(X=2)=0.2,P(X=3)=0.1。求X的信息熵H(X)。

3.已知随机变量X和Y的联合概率分布如下表所示（部分）：

||Y=0|Y=1|

|----|-----|-----|

|X=0|0.1|0.2|

|X=1|0.3||

（注：表中P(X=1,Y=1)=0.1，总概率和为1，请自行补充完整联合概率分布表）

（1）求边缘概率P(X=1)和P(Y=1)。

（2）判断X和Y是否相互独立。

（3）如果X和Y不独立，求X和Y的互信息I(X;Y)。

4.设有一个二进制无记忆信源，其发送0的概率为p，发送1的概率为1-p。该信源输出的N个符号序列构成一个随机变量X，X取值为{0,1}^N。求N个符号序列的联合熵H(X1,X2,...,XN)。

5.对于上题中的二进制无记忆信源，求其单个符号的熵H(X)，并解释其物理意义。

四、简答题

1.简述信息熵H(X)的物理意义。为什么说信息熵是衡量信息源信息量大小的一个度量？

2.解释什么是互信息I(X;Y)，并说明其具有哪些主要性质？

3.什么是信源编码？其基本目标是什么？与信道编码有何区别？（可以简述）

试卷答案

一、填空题

1.Σp(x_i)log?(1/p(x_i))

2.H(X)(或N*H(X))

3.4bit

4.log?(n)(其中n是X的取值个数)

5.(以连续随机变量熵的定义为准，无需f(x)为概率密度函数的条件)

二、判断题

1.√

2.√

3.√

4.√

5.√

三、计算题

1.解析思路：直接应用离散随机变量熵的公式H(X)=-Σp(x_i)log?(p(x_i))。将各符号概率代入公式计算。

答案：H(X)=-[(1/2)log?(1/2)+(1/4)log?(1/4)+(1/8)log?(1/8)+(1/8)log?(1/8)]

=-[(1/2)*(-1)+(1/4)*(-2)+(1/8)*(-3)+(1/8)*(-3)]

=-[-1/2-1/2-3/8-3/8]

=1+1+3/4+3/4

=2+3/2

=3.