南京工程学院信息论参考试卷iF.pdf

一填空题（本题15空,每空1分,共15分）

1联合熵H(X,Y)的定义为（），表示的是联合事件的（平均不确定性），

它与H(X)和H(Y)之间的大小关系是（H(X,Y)≤H(X)+H(Y)），等号在（X与Y统计独立）时成立。

2设有一离散无记忆信源X，其概率空间为，则该信源熵=（1.5）比特/符号；若将该信

源进行二次扩展，即形成新的符号系列{a1a1,a1a2,a1a3,a2a1,a2a2,a2a3,a3a1,a3a2,a3a3}，则二次扩展信源熵=

（3）比特/符号序列。两者的关系为（二次扩展信源熵=2×原始信源熵）。

3无失真信源编码的要求主要有2个：（精确地复现信源的输出）和（保证信源的全部信息无损的送给信宿）。

4最小码距d是衡量一种码的检、纠错能力的重要参数，最小码距越（大），其纠、检错能力越（强），具

min

体描述为（检错能力+纠错能力d-1）。

min

5纠错编码中，可以采取（增大信道容量）、（减小码率）和（增大码长）等措施减小差错概率。

二判断题（本题10小题,每小题1分,共10分）

1．×2．√3．×4．√5．×6．×7．√8．×9．×10．√

（1条件熵总是小于无条件熵。（）

（2）噪声均化就是让差错随机化，可通过卷积的方法使噪声分摊到码字序列上，而不是一个码字上，从而使噪

声均化。（）

（3）当信道固定时，平均互信息是信源分布的∪型凸函数。（）

（4）线性分组码的最小码距等于非零码字的最小码重。（）

（5）对于任一信源X，其信源熵H(X)〉0。（）

（6）率失真函数R(D)的定义域为[0，H（X）]。（）

（7）哈夫曼编码是用概率匹配方法进行的信源编码方法。（）

（8）事件x和事件y之间的互信息量具有非负性，并且具有对称性。（）

ij

（9）条件熵H（X|Y）可以衡量信号通过信道后损失信息量的多少；H（Y|X）表示收到全部输出符号后，对信道

输入符号集尚存在的平均不确定性。（）

（10）设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接收码字中有错。

（）

四计算题（本题3小题,共25分）

1设以8000样值/s的速率抽样一语音信号，并以M=256级队抽样均匀量化，设抽样值取各量化值的概率相等，且

抽样间相互统计独立，求：

1）每抽样的信息熵；

2）信源的信息输出率。(3+3=6分)

解：1）因256级量化值概率相等，且抽样间相互统计独立，则

2）信源的信息输出率为：

4

R=rH(X)=8000*8=6.4*10bps

2某六进信源进行二进编码如下表：