信息论与编码作业答案新)超全.docxVIP

信息论与编码作业答案(新)超全

篇一：信息论与编码姜丹第三版

信息论与编码习题参考答案第一章单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。解：

11

样本空间：N?c6c6?6?6?36

n12

N36(1)P1?

(3)信源空间：

?log?6??log36?4.32bit36236

?H(x)?15?

2436636836

?log36＋?log??log??log363623633641036636

365366n1136

N3611

?H(x)?

1.2如有6行、8列的棋型方格，假设有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）,（Xb，Yb）,但A，B不能同时落入同一方格内。（1）假设仅有质点A，求A落入任一方格的平均信息量；（2）假设已经明白A已落入，求B落入的平均信息量；（3）假设A，B是可识别的，求A，B落入的平均信息量。解：

1

(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log48

48

i?1

48

(2)?在已经明白A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47

i?148

1

47

(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)

48?47i?1

11?4847

1.3从大量统计材料明白,男性中红绿色盲的发病率为7%,女性发病率为0.5%.假设你征询一位男士：“你是否是红绿色盲？”他的答复可能是：“是”，也可能“不是”。征询这两个答复中各含有多少信息量？平均每个答复中各含有多少信息量？假设你征询一位女士，那么她的答案中含有多少平均信息量？解：关于男士:

答复“是”的信息量：I(my)??logP(my)??log7%?3.84bit答复“不是”的信息量：I(mn)??logP(mn)??log93%?0.105bit平均每个答复信息量：H(m)??P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?0.366bit关于女：

答复“是”的信息量：I(wy)??logP(wy)??log0.5%答复“不是”的信息量：I(mn)??logP(mn)??log99.5%

1.4某一无经历信源的符号集为｛0，1｝，已经明白p0?

13

，p1?

23

。

（1）求符号的平均信息量；

（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）

的自信量的表达式；

（3）计算（2）中序列的熵。解：

1122

3333

12

（2）I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)logbit

33

（3）H(A)?1000H(X)?1000?0.918?918bit/sequenceH(A)???p0logp0?

i?1m

1000?m

?

i?1

p1logp1??

m12(1000?m)2

log?log3333

1.5设信源X的信源空间为：

a1a2a3a4a5a6?X：

[x?p]：?

求信源熵，并解释为什么H(X)log6，不满足信源熵的极值性。解：

H(X)???p(ai)logp(ai)

i?1

6

??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3?2.725bit/symble

可见H(X)?2.725?log6?2.585不满足信源熵的极值性，

这是由于信源熵的最大值是在?pi?1的约束条件下求得的，但是此题中

i?1r

?p

i?1

6

i

?1.18不满足信源熵最大值成立的约束条件，因此H(X)?log6。

1.6为了使电视图象获得良好的明晰度和规定的比照度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：

由于亮度电平等概出现，由熵的极值性：

i?110

每帧图像的熵是：H(X)?5?105?H(x0)?5?105?3.322?1.661?106bit/frame

?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?1.661?