朱雪龙《应用信息论基础》习题答案.doc

第二章 习题参考答案 nat 或 bit 证明： 1) H(X) = 0.918 bit , H(Y) = 0.918 bit H(X|Y) = bit , H(Y|X) = bit , H(X|Z) = bit I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit 2.4 证明：(1)根据熵的可加性，可直接得到 (2) 考虑如下系统： X Z Y 假设输入X、Y是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit 不妨设 P(Z=0) = P(Z=1) = 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1－p P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q 则 H(X|Z) = [ plogp + (1－p)log (1－p)][ qlogq + (1－q)log(1－q)] =1 满足上式的p、q 可取：p = ; q = ∴ 满足条件的一个联合分布： P(X=0, Y=0, Z=0) = P(X=1, Y=1, Z=0) = P(X=1, Y=1, Z=0) = P(X=1, Y=0, Z=1) = 2.6 解： 给出均匀分布 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z) = I(X;Z)－I(X;Z|Y) ∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立 N=2 时， P(0 0) =, P(1 1) = ,其它为0 I(;) = 1 bit N≠2时， I(;|…) (3≤k) = P(…中有奇数个1) I(;|…中有奇数个1) + P(…中有偶数个1) I(;|…中有偶数个1) P(…中有奇数个1) = P(…中有偶数个1) = P(=1|…中有奇数个1) = P(=0|…中有奇数个1) = P(=1|…中有奇数个1) = P(=0|…中有奇数个1) = （注意，这里k≤N－1） P(=1|…中有偶数个1) = P(=0|…中有偶数个1) = P(=1|…中有偶数个1) = （注意，这里k≤N－1） P(=0|…中有偶数个1) = P(=0，=0|…中有奇数个1) = P(=0，=1|…中有奇数个1) = P(=1，=0|…中有奇数个1) = P(=1，=1|…中有奇数个1) = P(=0，=0|…中有偶数个1) = P(=0，=1|…中有偶数个1) = P(=1，=0|…中有偶数个1) = P(=1，=1|…中有偶数个1) = 综上：I(;|…中有奇数个1) (3≤k≤N－1) = H(|…中有奇数个1) + H(|…中有奇数个1) －H(;|…中有奇数个1) = 0 I(;|…中有偶数个1) = 0 ∴ 当 3≤k≤N－1 时，I(;|…) = 0 当 k = N时 即 I(;|…) = H(|…) － H(|…, ) = 1 bit 1) 实例如2.5题 2）考虑随机变量 X=Y=Z的情况 取 P(X=0, Y=0, Z=0) = P(X=1, Y=1, Z=1) = 则 I(X;Y|Z) = 0 I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) H(X Y) ≤ H(X) + H(Y) 等号在X、Y独立时取得 ∴P() = P() = P() = P() = P() = P() = P() = P() = P() = 满足 H(X Y) 取最大值 2.11 证明： 2.12 证明： 2.13 证明： P(X=n) = = H(X) = = = 2 bit (nat) 2.16 证明： 记长为2N随机序列中出现的频率=的概率为，其中中出现的频率为的概率为，中