信息论与编码第二版)习题答案陈运主编.docxVIP

信息论与编码(第二版)习题答案,陈运,主编

篇一：信息论与编码复习材料重点陈运第二版

2.3居住某地区的女小孩有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占总数的一半。假设我们得知“身高160厘米以上的某女孩是大学生”的音讯，征询获得多少信息量？

解：

设随机变量X代表女小孩学历

XP(X)

x1（是大学生）

x2（不是大学生）

设随机变量Y代表女小孩身高

YP(Y)

y1（身高160cm）

y2（身高lt;160cm）

已经明白：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75bit

求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??log

p(x1)p(y1/x1)

p(y1)

??log

?1.415bit

2.4设离散无经历信源?

??x1?0???

?P(X)??3/8?

X

x2?1x3?21/4

1/4

x4?3?

?，其发出的信息1/8?

(2)此音讯中平均每符号携带的信息量是多少？

解：

(1)此音讯总共有14个0、13个1、12个2、6个3，因而此音讯发出的概率是：?3?p???

?8?

14

?1?????4?

25

?1?????8?

6

此音讯的信息量是：I??logp?87.811bit

2.5从大量统计材料明白，男性中红绿色盲的发病率为7%，女性发病率为0.5%，假设你征询一位男士：“你是否是色盲？”他的答复可能是“是”，可能是“否”，征询这两个答复中各含多少信息量，平均每个答复中含有多少信息量？假设征询一位女士，那么中含有的平均自信息量是多少？

解：男士：

p(xY)?7%

I(xY)??logp(xY)??log0.07?3.837bitp(xN)?93%

I(xN)??logp(xN)??log0.93?0.105bit

2

H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366bit/symbol

i

女士：

2

H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045bit/symbol

i

2.7同时掷出两个正常的骰子，也确实是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；

(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,?,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。

解：(1)

p(xi)?

16?16?16?16?118

118

?4.170bit

I(xi)??logp(xi)??log

(2)

p(xi)?

16?16?136

136

?5.170bit

I(xi)??logp(xi)??log

(3)

两个点数的陈列如下：111213142131415161

2232425262

2333435363

2434445464

152535455565

162636465666

共有21种组合：

其中11，22，33，44，55，66的概率是

16?16?136

其他15个组合的概率是2?

16

?

16

?

118

1111??

H(X)???p(xi)logp(xi)???6?log?15?log??4.337bit/symbol?i

(4)

参考上面的两个点数的陈列，能够得出两个点数求和的概率分布如下：

?X?

?P(X

2??????1)??

?36

i

3118

4112

519

6536

716

85361111812??1?36??

H(X)???p(xi)logp(xi)

???2?log?2?log?2?log?2?log?2?log?log?

(5)

p(xi)?

16?16?11?

1136

1136

?1.710bit

I(xi)??logp(xi)??log

2.10对某城市进展交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷

暖两个状态，调查结果得结合出现的相对频度如下：

冷12

晴

晴

冷8

暖8

忙

冷27

雨

雨

闲

暖15

冷5

暖16

暖12

假设把这些频度看作概率测度，求：(1)忙闲的无条件熵；

(2)天气状态和气温状态已经明白时忙闲的条件熵；

(3)从天气状态和气温状态获得的关于忙闲的信息。

解：

(1)

按照忙闲的频率，得到忙闲的概率分布如下：

?X?

?P(