信息论与编码（曹雪虹_张宗橙）第二、三章答案.docVIP

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为： 对应的状态图如右图所示。设各符号稳定概率为：，， 则可得方程组： =++ =+ = ++=1 解得各符号稳态概率为： =，=， = 2-2.解：该马尔可夫信源的符号条件概率矩阵为： 状态转移概率矩阵为： 对应的状态图如右图所示。 设各状态的稳态分布概率为,,,,则可得方程组为： =0.8+0.5 =0.2+0.5 =0.5+0.2 =0.5+0.8 +++=1 解得稳定分布的概率为: =，=，=，= 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)= 故其自信息量为： I(3,5)=-㏒=4.17bit （2）“两个1同时出现”事件的概率为： p(1,1)= 故其自信息量为： I(1,1)=- ㏒=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为： 则该信源熵为： H(x)=6×lb36+15×lb18=4.337bit/事件 （4）两个点数之和构成的信源，其概率空间为： 则该信源的熵为： H(x)=2×lb36+2×lb18+2×lb12+2×lb9+2×lb+lb6 =3.274bit/事件 （5）两个点数中至少有一个是1的概率为： p(1)= 故其自信息量为： I(1)= -㏒=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为 I(x)= -㏒=1.415bit I(x)= -㏒=2bit I(x)= -㏒=2bit I(x)= -㏒=3bit （2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符号序列的自信息量为： I(x)= -㏒() () ()=87.81bit 平均每个符号携带的信息量为： (x)= =1.95bit/符号 2-10 解：用表示第一次摸出的球为黑色，用表示第一次摸出的球为白色，用表示第二次摸出的球为黑色，用表示第二次摸出的球为白色，则 (1)一次实验包含的不确定度为： H(X)=-p()lbp()-p()lbp()=-lb-lb=0.92 bit (2)第一次实验X摸出的球是黑色，第二次实验Y给出的不确定度: H(Y|)=-p(|)lb p(|)-p(|)lb p(|) = -lb-lb = 0.86 bit (3)第一次实验X摸出的球是白色，第二次实验Y给出的不确定度: H(Y|)=-p(|)lb p(|)-p(|)lb p(|) = -lb-lb = 0.94 bit （4）第二次Y包含的不确定度： H（Y|X）= - = p() H(Y|)+p()H(Y|) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H（，，）= -lb- 2lb =1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18lb= 5.25 bit (3)颜色已知的条件熵： H（number|colour）=H（colour,number）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： 　　　H(X,Y)= - lb = -lb =H(,,0,,,0,,) =2.3 bit/符号 （2）由联合概率，可得 p()=++ =++ =++0 = 同理可得 P()=p()=,则实验Y的平均信息量： H(Y)=H(,,)=1.58 bit/符号 （3）在已知实验Y结果的条件下，实验X的平均信息量： H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit