信息论与编码题库练习题复习题测试题 .pdfVIP

2.1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：

（1）“3和5同时出现”事件的自信息量；

（2）两个“1同时出现”事件的自信息量；

（3）两个点数的各种组合（无序对）的熵或平均信息量；

（4）两个点数之和（即2，3，…，12构成的子集）的熵；

（5）两个点数中至少有一个是1的自信息。

解：（1）一个骰子点数记为X，另一个骰子的点数记做Y，X、Y之间相互独立，且都服从等

概率分布，即

X123456

Px1/61/61/61/61/61/6

同理

Y123456

Py1/61/61/61/61/61/6

一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为

PPx（X3）Py（Y5）Px（X5）Py（Y3）

1

11111



666618

对应的信息量为

1

I-lb（P）-lb（）4.17比特

1118

（2）两个骰子点数同时为1的概率为

1

PPx（X1）Py（Y1）

236

对应的信息量为

1

I-lb（P）-lb（）5.17比特

2236

（3）各种组合及其对应的概率如下

111

P（XY）XY1,2,3,4,5,6,共6种可能

6636

111

P（XY）2共有15种可能

6618

因此对应的熵或者平均自信息量为

1111

H-6lb（）-15lb（）4.34比特/符号

136361818

（4）令Z=X+Y，可以计算出Z对应的概率分布如下

Z23456789101112

Pz1/362/363/364/365/366/365/364/363/362/361/36

对应的熵为

11223333

H-2lb（）-2lb（）-2lb（）-2lb（）

13636363636363636

445566

-2lb（）-2lb（）-lb（）

363636363636

1.914比特/符号

（5）X、Y相互独立，所以联合熵为

21

I（X,Y）lb（）0.597比特

6