信息论与编码课后作业.docx

第三章 3.8 证明长为N的D元不等长码至多有D(DN-1)/(D-1)个码字。 证：已知长为N的不等长码D元 可得此不等长为D进制，最大长为N 所以 例：N=2，D=2 {0,1}推出 {0,1,00,01,10,11} …… 可知码字数量n=D+D2+……DN 即为等比数列求和：n=a1(1-qn)1-q=D(1-Dn)1-D=D(Dn-1)D-1 3.12 信源符号消息X={x1,x2,…xM},信源熵H(X)，若对该信源能找到一个平均码长为?n=H(X)/log3的三元即时码，证明对每个xi∈X,其概率满足p(xi)=3-ni,式中ni为整数。 证：由题意已知：信源熵H（x）和平均码长,三元即时码 设每个信源符号信息x1,x2,x3…xM ,对应的概率q1,q2,q3,qM H(x)=-q1logq1-q2logq2-q3logq3…-qMlogqM 平均码长：?n=q1+2*q2+2*q3+3*q4+… 又因为?n=H(x)/log3 ?nlog3=( q1+2*q2+2*q3+3*q4+…)log3=-log(1/3)*( q1+2*q2+2*q3+3*q4+…) H(x)=-log(q1q1*q2q2*q3q3*q4q4…) 因为H(x)= nlog3 所以-log(q1q1*q2q2*q3q3*q4q4…)=-log13q1+2*q2+2*q3+3*q4+… 得到：q1=1/3,q2=(1/3)2 ,q3=(1/3)2, q4=(1/3)3…qM=(1/3)ni 概率满足P（xi）=3-ni (ni∈Z) 3.16 某一信源有M个消息，并且每个消息等概分布，对该信源进行二元霍夫曼编码，问当M=2i和M=2i+1（i为正整数）时，每个码字的长度ni等于多少？平均码长?n又为多少？ 答：当M=2i时，得到等长码，码长为i； 当M=2i+1时，平均码长为 ：?n=2i-12i+1*i+22i+1*(i+1)=i+ 22i+1 3.17 信源分布xq(x)=x1x2x3x41/31/31/41/12, (1) 对该信源进行二元霍夫曼编码； （2）证明存在两个不同的最佳码长集合，即证明码长集合{1,2,3,4}和{2,2,2,2}都是最佳的。 答：（1） 1 0 1 1/3 2/3 1 0 1 0 1/4 1/12 1/3 1/3 所以霍夫曼编码为：11；10；01；00 (2) 平均码长分别为：?n1=m=14nmp(cm)=1*1/3+2*1/3+3*1/4+3*1/12=2 ?n2=2*1/3+2*1/3+2*1/4+2*1/12=2 所以两种都是最佳的。 3.18 对信源xq(x)=x1x2x3x4x5x6x7x81/51/61/61/101/101/101/121/12，设计 （1）香农编码，D=2； （2）费诺编码，D=2； （3）霍夫曼编码，D=3； （4）霍夫曼编码，D=4；并分别求出平均码长?n和编码效率?。 答： （1）对于x8, 由-log(x8)=3.66 可得码长为4； 则累加概率为p8=i=17q(xi)=1/5+1/6*2+1/10*3+1/12*2=0.92 将0.92换成二进制并保留前四位得1110. 同理可得香农编码得：000；001；011；1000；1010；1011；1101；1110； 信源熵:H（x）=-m=17q(xm)logq(xm)=-0.2log0.2-2*0.17log0.17-3*0.1log0.1-2*0.08log0.08=2.93 平均码长：?n=3*(0.2+0.17*2)+4*(0.3+0.16)=3.46 编码效率：?=H（x）?nlogD=2.933.46*1=0.85 (2)费诺编码为：00,010,011,100,101,110,1110,1111 平均码长为：?n=2*0.2+3*(0.17+0.17+0.1*3)+4*06=2.96 编码效率：?=2.93/2.96=0.99 (3) D=3,M=8,D*=M[mod(D-1)]=0 D*∈(2,3…D) D*=2,即第一次取两个，第二次取三个 编码结果为：0,21,20,12,11,10,221,220 平均码长为：?n=1*0.2+2*0.17*2+2*0.1*2+2*0.08*3=1.96 编码效率：?=2.93/1.96*1.59=0.937 (4) D=4,M=8,D*