信息论与编码第二章.docVIP

第二章 2.9 （1）对于离散无记忆信源DMS X qX H(X)=H2(p)=-p log p-(1-p)log(1-p) 当p=1/2时，H(X)达到最大值。 （2）对（1）中的DMS，考虑它的二次扩展信源X（2）=x1x1,x1x2,x2x1 解： 函数H(X)??plogp?(1?p)log(1?p)中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。H(X)??plogp?(1?p)log(1?p) ? ?log（p?1）?pp（1?p）p1ln2??1ln2(1?p)?1ln2? ?log1?pln2(1?p) ?log（1?p）p?0在区间[0，0.5]上1-pp,则（1-p）/p1，所以log，在此区间上H(x)0，H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。? 所以，H(X)?H2(p)??plogp?(1?p)log(1?p)在p=1/2时，H(X)达到最大值。(2)二次扩展后的矩阵：Xq(X)= H(X(2))??p2logp2?p(1?p)log2p(1?p)?2p(1?p)logp（1-p） ?2[?plogp(1?p)?(1?p)log(1?p)p?2(1?p)log(1?p)p?(1?p)log(1?p)]?2H(X ) 2.11 (1)一个无偏骰子，掷骰子的熵为多少？ （2） 如果骰子的被改造使得某点出现的概率与其点数成正比，那么熵为多少？ （3）一对无偏骰子，各掷一次，得到总点数为7，问得到多少信息量？ 解： （1） H（x）= -log1/6=log6=2.58(bit/符号) （2）由q(xi)=kxi得21k=1 即 k=1/21 H(x)=-1/21(log1/21)-2/21(log2/21)-3/21(log3/21)-4/21(log4/21)-5/21(log5/21)-6/21(log6/21) =2.36（bit/符号） （3）I（A+B=7）=-log1/6=log6=2.58(bit) 2.12 一个盒子中放有100个球，其中60个球是黑色的，40个球是白色的。 （1）随机摸取一个球，求获得的自信息量。 （2）进行放回摸取n次，求这n次所得到的平均自信息量。 解： （1）I（xi）=-log1/100=log100(bit) (2)总信息量为：nI(x1)P(x1)+nI(x2)P(x2) 平均：(1/n)[ nI(x1)P(x1)+nI(x2)P(x2)]=0.93(bit) 2.19 给定信源[xq(x)]=[x1 (1) 该信源是平稳信源吗？计算信源熵； （2）计算H（x3），并列出信源[x3 (3) 计算H（x3|x1x2）及N维扩展信源在N趋于无穷时的熵limN→∞ 解： （1） H（x）=-0.6log0.6-0.4log0.4 (bit/符号) H（x）=NH(x) 是平稳信源 （2）H(x3)=i=13 X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2} 记xixjxt=bk,k=0……7 则 [x3q(x3)]=[b (3) H(x3|x1x2)=-i N维扩展信源在N趋于无穷时，q(x(i)j)几乎相等。 所以，-i+jlogq(x 所以，N维扩展信源在N趋于无穷时的熵limN→∞ 2.27 证明几何分布xq(x)=x1 x2 … xi …p p1-p 证明：由题意可得，x的二维扩展概率分布为： xixjqxixj H（x）=-plogp-p(1-p)logp(1-p)…-p(1-p)i-1logp(1-p)i-1 H2(p)=-p2logp2-p2(1-p)logp2(1-p)…-p2(1-p)2i-2logp2(1-p)2i-2 将H2（p）进行化简，可得：H2（p）=H（x）p 所以，H（x）=H