第一次信息论作业参考答案_492908107.pdfVIP

2009 年信息论第一次作业参考答案 1. 在 NBA 季后赛中，两个队要进行七战四胜制的系列赛，当任意一个队获得四场胜利 时，这一轮系列赛结束。不妨用 A、B 来表示这两个队，用 X表示这场系列赛中每 场比赛的结果，X 可能的取值有 AAAA,BABABAA，BBBAAAA 等。用 Y 来表示总共进行 的比赛场次。Y 的取值范围为 4 至7。假设每场比赛独立，且两队实力相当，即每 个队在每场比赛中获胜的概率均为 50%。求H(X),H(Y),H(Y|X)和 H(X|Y)。 解: 确定 Y=k 时，X 可能的取值个数为 2* C3 ,因为如果 A队赢得整个系列赛，则最 k −1 后一场必然是 A 赢，而前面 k-1 场中 A 赢了3场的可能情况有 C3 种，于是 X 的可能 k −1 取值为2* C3 。其中每一个取值对应的概率为2−k 。 k −1 Y=4 时，X 可能取值个数有 2 个，每个的概率为 1/16; 1 1 P (Y 4) *2 16 8 Y=5 时，X 可能取值个数有 2* C3 8 个，每个的概率为 1/32; 4 1 1 P (Y 5) *8 32 4 Y=6 时，X 可能取值个数有 2* C3 20 个，每个的概率为 1/64; 5 1 5 P (Y 6) *20 64 16 Y=7 时，X 可能取值个数有 2* C3 40 个，每个的概率为 1/128; 6 1 5 P (Y 7) *40 128 16 于是有 H X =− p x p x ( ) ∑ ( )log ( ) 1 1 5 5 log16 =+ log32 + log 64 + log 64 8 4 16 16 5.8125 H Y =− p y p y ( ) ∑ ( )log ( ) 1 1 5 16 5 16 log8 =+ log 4 + log + log 8 4 16 5 16 5 1.924 H (Y | X ) 0 ，因为确定 X，Y 就完全确定了。 H (X |Y ) H (X ) =+H (Y | X ) −H (Y ) 3.889 2. 和的熵 设X ，Y 为两个随机变量，取值分别为{x , x ,..., x }和{y ,y ,..., y }。令