信息论第2章课后习题案例.pptVIP

* * 习题课 P(发送ul)=1/8。 P(发送ul，且接收的第一个数字为0) =P(发送ul)×P(接收的第一个数字为0|发送ul) =P(发送ul)×P(接收的第一个数字为0|发送的第一个数字为0) =(1/8)×(1-p)。 因此，I(发送ul；接收的第一个数字为0) * * (b) P(接收的前两个数字为00) =P(发送的前两个数字为00)×P(接收的前两个数字为00|发送的前两个数字为00) +P(发送的前两个数字为01)×P(接收的前两个数字为00|发送的前两个数字为01) +P(发送的前两个数字为10)×P(接收的前两个数字为00|发送的前两个数字为10) +P(发送的前两个数字为11)×P(接收的前两个数字为00|发送的前两个数字为11) =P(发送ul或u2)×(1-p)2+P(发送u3或u4)×(1-p)p +P(发送u5或u6)×p(1-p)+P(发送u7或u8)×p2 =1/4 * * 习题课 P(发送ul，且接收的前两个数字为00) =P(发送ul)×P(接收的前两个数字为00 |发送ul) =P(发送ul)×P(接收的前两个数字为00 |发送的前两个数字为00) =(1/8)×(1-p)2。 因此，I(发送ul；接收的前两个数字为00) * * (c) P(接收的前三个数字为000) =P(发的前面为000)×P(收的前面为000|发的前面为000) +P(发的前面为001)×P(收的前面为000|发的前面为001) +P(发的前面为010)×P(收的前面为000|发的前面为010) +P(发的前面为011)×P(收的前面为000|发的前面为011) +P(发的前面为100)×P(收的前面为000|发的前面为100) +P(发的前面为101)×P(收的前面为000|发的前面为101) +P(发的前面为110)×P(收的前面为000|发的前面为110) +P(发的前面为111)×P(收的前面为000|发的前面为111) =P(发u1)×(1-p)3+P(发u2)×p(1-p)2 +P(发u3)×p(1-p)2+P(发u4)×p2(1-p) +P(发u5)×p(1-p)2+P(发u6)×p2(1-p) +P(发u7)×p2(1-p)+P(发u8)×p3 =1/8 * * 习题课 P(发送ul，且接收的前三个数字为000) =P(发送ul)×P(接收的前三个数字为000 |发送ul) =P(发送ul)×P(接收的前三个数字为000 |发送的前三个数字为000) =(1/8)×(1-p)3。 因此，I(发送ul；接收的前三个数字为000) * * (d) P(接收的前四个数字为0000) =P(发u1=0000)×P(接收的前四个数字为0000 |发0000) +P(发u2=0011)×P(接收的前四个数字为0000 |发0011) +P(发u3=0101)×P(接收的前四个数字为0000 |发0101) +P(发u4=0110)×P(接收的前四个数字为0000 |发0110) +P(发u5=1001)×P(接收的前四个数字为0000 |发1001) +P(发u6=1010)×P(接收的前四个数字为0000 |发1010) +P(发u7=1100)×P(接收的前四个数字为0000 |发1100) +P(发u8=1111)×P(接收的前四个数字为0000 |发1111) =(1/8)×(1-p)4+(1/8)×p2(1-p)2 +(1/8)×p2(1-p)2+(1/8)×p2(1-p)2 +(1/8)×p2(1-p)2+(1/8)×p2(1-p)2 +(1/8)×p2(1-p)2+(1/8)×p4 =(1/8)×{(1-p)4+6p2(1-p)2+p4} * * 习题课 P(发送ul，且接收的前四个数字为0000) =P(发送ul)×P(接收的前四个数字为0000 |发送ul=0000) =(1/8)×(1-p)4。 因此，I(发送ul；接收的前四个数字为0000) * * 习题课 2.13 令X、Y、Z是概率空间（即随机变量），试证明下述关系式成立。 (a) H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。 (b) H(YZ|X)=H(Y|X)＋H(Z|XY)。 (c) H(Z|XY)≤H(Z|X)，给出等号成立的条件。 [2.13的解答] * * (a) 在以下的推导式中，不等号成立的理由来自于引理2。 * * (b) * * (c) 在以下的推导式中，不等号成立的理由来自于引理2。不等号变成等号的充要条件是：对任何(xyz)恒有P(Z=z|XY=xy)=P(Z=z|X=x)。 * * 习题课 2.18 若三个随机变量有如下关系：X＋Y=Z，其中X和Y相互独立。试证