《应用信息论基础》课后习题答案_清华大学出版社_朱雪龙.pdfVIP

第二章习题参考答案

2.1nat或

2.2证明：

∵I(X;YIZ)H(XIZ)-H(XIYZ)H(XZ)-H(Z)-H(XYZ)+H(YZ)

H(X)+H(ZIX)-H(Z)-H(XY)-H(ZIXY)+H(Y)+H(ZIY)

[H(X)+H(Y)-H(XY)]+H(ZIX)-H(Z)-H(ZIXY)+H(ZIY)

I(X;Y)+H(ZIX)-H(Z)-H(ZIXY)+H(ZIY)

≤0+H(Z)-H(Z)-H(ZIXY)+H(Z)H(Z)-H(ZIXY)

∴1≤H(Z)-H(ZIXY),即H(Z)≥1+H(ZIXY)

又∵H(Z)≤1,H(ZIXY)≥0,故H(Z)1,H(ZIXY)0

同理，可推出H(X)1;H(Y)1;

H(XYZ)H(XY)+H(ZIXY)H(X)+H(Y)+H(ZIXY)1+1+02

2.31)H(X)0.918bit,H(Y)0.918bit

2)

3)I(X;Y)0.251bit,H(XYZ)1.585bit

2.4证明：(1)根据熵的可加性，可直接得到

(2)∵Y的值取自(a₁,a₂,…,ak₋1),∴H(Y)≤log(k-1),故原式得证

2.5考虑如下系统：

X

④Z

Y

假设输入X、Y是相互独立的，则满足I(X;Y)0

又I(X;YIZ)H(XIZ)一H(XIYZ)H(XIZ)1bit

不妨设

设P(X0,Y0IZ0)pP(X1,Y1IZ0)1-p

P(X0,Y1Z1)qP(X1,Y0IZ1)1-q

则

满足上式的p、q可取：

∴满足条件的一个联合分布：

2.6解：

给出均匀分布a≤x≤b其中b-a1,则h(X)0

2.7证明：I(X;Y;Z)I(X;Y)-I(X;YIZ)

I(X;Z)一I(X;ZIY)

∵A,B处理器独立，∴I(X;ZIY)0

∴I(X;Z)I(X;Y)一I(X;YIZ)≤I(X;Y)

等号于p(x/yz)p(x)下成立

2.8N2时，,其它为0

I(X₁;X₂)1bit

N≠2时，

I(Xk-;XIX₁…Xk-2)(3≤k)

P(X₁…Xk-2中有奇数个1)I(Xk-1;XIX₁…Xk-2中有奇数个1)

+P(X₁…Xk-2中有偶数个1)I(Xk-1;XIX₁…X-2中有偶数个1)

P(Xk-11lX₁…Xk-2中有奇数个

P(Xk-0IX₁…Xk-2中有奇数个

P(Xk1lX₁…Xk-2中有奇数个

P(Xk0IX₁…Xk-2中有奇数个(注意，这里k≤N-1)

(注意，这里k≤N-1)

P(Xk-10,Xk0IX₁…Xk-2中有奇数个

P(Xk-10,Xk1lX₁…Xk-2中有奇数个

P(Xk-11,

P(Xk-₁1,Xk1lX₁…X-2中有奇数个

P(Xk-0,Xk0IX₁…X-2中有偶数个

P(X-10,Xk1lX₁…XK-2