《信息论与编码答案》.docVIP

第二章 信源及信源熵 2-1 (4) 2-2 2-3 2-4 2-5 (1,2) (2,1) 共两种 (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 2-6 0—14个 1---13个 2----12个 3---6个 P= I= 2-7 2-8 “－” 用三个脉冲 “●”用一个脉冲 (1) I(●)= I(－)＝ (2) H= 2.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)= (2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)= 2-11 (1) H(XY)= (2) P= 得到 H(Y)= (3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) 2-13 P(i)= P(ij)= H(IJ)= 2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15 P(j/i)= 2-16 (1) 白黑11 白 黑 1 1 (2) 设最后平稳概率为W1,W2 得W1=07 W2=0.3 H(Y/黑)= H(Y/白)= H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)= 白黑 白 黑 2-17 2-24 (1) H(X)= (2) = (3) 2-25 解方程组 即 解得 W1=0.4 W2=0.6 2-26 P(j/i)= 解方程组 求得W= 1/2 1/2 S1 S1 1/3 1/3 1/31/2 1/3 1/2 2/3S3S2 2/3 S3 S2 2/3 2/3 2-27 求平稳概率 符号条件概率 状态转移概率 解方程组 得到 W= 2-28 (1) 求平稳概率 P(j/i)= 解方程组 得到 (2) 信源熵为: 2-29 P(j/i)= 解方程组 得到W1= , W2= , W3= 2-30 P(i/j)= 解方程组 得W1=W2=W3= 信源熵为 2-31 P(X1)= P(j/i)= P(X1X2)= （1） a. b. 求H(X2/X1)有两种方法： 方法1： 方法2：H(X2/X1)=∑P(x1x2)log(x2/x1) = c. 求H(X3/X2) P(X2)= 则 方法1： P(X3/X2)= ) + + = 方法2：P(X3/X2)= d. 最后 ＝ （2）首先求解稳定情况下的概率 解方程组 得到 W1 ）＋W2 ＋W3 = (3) 不做 2-32 (1) P(j/i)= 求解方程组 得p(0)=p(1)=p(2)= (2) (3) H(X)=log(3)=1.58 (4) = P= 当p=时达到最大值1.58 当 时 当 时 2-33 (1) 解方程组: 得p(0)=p(1)=p(2)= (2) (3) 当p=0或p=1时 信源熵为0 第三章 无失真信源编码 3-1 3-2 (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为bit/ms=200bit/s (2) 信源熵为 H(X)= =0.198bit/ms=198bit/s 与上题相同 3-5 (1) H(U)= (2) 每个信源使用3个二进制符号,出现0的次数为 出现1的次数为 P(0)= P(1)= (3) (4) 相应的香农编码 信源符号xi 符号概率pi 累加概率Pi -Logp(xi) 码长Ki 码字 x1 1/