信息论与编码第三章曹雪虹习题答案.docx

第三章

?2 1?

33? ?

3

3

12? ?

1

2

? ?

设二元对称信道的传递矩阵为?3 3?

(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X和)I(X;Y)；

(2)求该信道的信道容量及其达到信道容量时的输入概率分布；

解：

1)

H(X)???p(x)??(3?log

3?1?log 1)?0.811 bit/symbol

i 4

i ??

24 4 24

H(Y/X)?? p(x)p(y

i j

i j

/x)logp(y /x)

i j i

???(3?2lg2?3?1lg1?1?1lg1?1 2lg2)4 3 3 4 3 3 4 3 3 4 3 3

?

?0.918 bit/symbol

log10

2

3 2 1 1

p(y

1

)?p(x

1

y)?p(x

1 2

y)?p(x

1 1

)p(y

1

/x)?p(x

1 2

)p(y

1

/x)?

2

? ? ? ?0.58334 3 4 3

3 1 1 2

p(y

2

)?p(xy

1 2

)?p(x

2

y)?p(x

2 1

)p(y

2

/x)?p(x

1 2

)p(y

2

/x)? ? ? ? ?0.4167

2 4 3 4 3

H(Y)???p(y

j

j

)??(0.5833?log

2

0.5833?0.4167?log

2

0.4167)?0.980 bit/symbol

I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)

H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol

2)

C?maxI(X;Y)?log

2

m?H

mi

2? 1 1 2 2

2? 1 1 2 2

?log

2

( lg ? lg )?log3 3 3 3 2

10?0.082 bit/symbol

其最佳输入分布为p(x)?

i 2

3-2某信源发送端有2个符号，x

i

，i＝1，2；p(x)?a，每秒发出一个符号。接受端有3

i

?1/2 1/2 0 ?

种符号yi，j＝1，2，3，转移概率矩阵为P??1/2 1/4 1/4?。

? ?

计算接受端的平均不确定度；

计算由于噪声产生的不确定度H(Y|X)；

计算信道容量。

?1/2 1/2 0 ?

? ?解：P??1/2 1/4 1/

? ?

联合概率p(x,y)

i j

X

X

Y

y

1

y

2

y

3

x

1

a/2

a/2

0

x (1?a)/2 (1?a)/4 (1?a)/4

2

则Y的概率分布为

Y

Y

y

1

1/2

y

2

(1?a)/4

y

3

(1?a)/4

12?1+alog 4 ?

1

2?1+alog 4 ?1?alog 4

2

4

1?a

4

1?a

log

?1log2?1log 16

alog1?a

2 4 1?a2 4 1?a

?1log2?1log16?1log

1 ?alog1?a

2 4 4 1?a2 4 1?a

?3log2?1log 1

alog1?a

2 4 1?a2 4 1?a

取2为底

3 1 1 a 1?a

H(Y)?( ? log ? log )bit

2 4 21?a2 4 21?a

（2）H(Y|X)???alog1?alog1?1?alog1?1?alog1?1?alog1?

??2

??alog2?3(1?a)log2

2

2 2 2 2 2 4 4 4 4??

?3?alog2

2

取2为底

H(Y|X)?

3?a2