信息论基础 答案6.docVIP

《信息论基础》试卷答案 一、填空题（共15分，每空1分） 1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。 2，若高斯白噪声的平均功率为6W，则噪声熵为（1/2log12e=3。337bit/自由度） 如果一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W） 3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大） 4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。 8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr或HR(S)）， 此时编码效率为（1） 9，在下面空格中选择填入数学符号“=,,,” 9.1 H2(X)=H(X1X2)/2 H3(x)=H(X1X2X3)/3 9.2 H (XY) = H(Y)+H(X/Y) H(Y)+H(X) 10,有一信源X，其概率分布为，若对该信源进行100次扩展， 其每扩展符号的平均信息量是（175bit/扩展符号） 11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号） 二、判断题（本大题共5小题，每小题1分，共5分） 1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（） 2）即时码可以在一个码字后面添上一些码元构成另一个码字（） 3）连续信源的熵可正可负可零（） 4）平均互信息始终是非负的（） 5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（） 三、（10分）计算机终端发出A.B.C.D.E五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz的信道传输数据，假设信道输出信噪比为2047，试计算： 1）香农信道容量； 2）无误码传输的最高符号速率。 (1) (2), 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a1,a2之间。此信源连至信道，信道接收端接收脉冲的幅度y处在b1，b2之间。已知随机变量x和y的联合概率密度函数 试计算h（x），h（y）h（xy）和I(x;y) 由得 可见，，和相互独立，且均服从均匀分布， 自由度 自由度 五、（10分）设某信道的传递矩阵为 计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道， （1）两个对称信道矩阵为 和 N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2 ∴符号 最佳输入概率分布为输入等概率，即 =1/2 六、（10分）设随机变量x和y的联合概率分布如下所示： x y b1=0 b2=1 a1=0 1/3 1/3 a2=1 0 1/3 已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x；y） H(x)=H(1/3,1/3)=0.9183bit/符号 z 0 1 pz 2/3 1/3 H(z)=H(2/3,1/3)=0.9183bit/符号 3）H(xy)=H(1/3,1/3,0,1/3)=1.58496 bit/每对符号 4) xz P(xz) 00 2/3 01 0 10 0 11 1/3 H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5) I(x,y)=H(x)+H(y)-H(xy) =0.25164bit/符号 七 （20） 一个离散无记忆信源 求H(x)和冗余度；（4分） 编成Fano码，计算编码效率；（8分） 编成Huffman码，计算编码效率。（8分） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit ﹪ 2) 3) ％ 八 （10分） 设一个离散无记忆信源的概率空间为，它们通过干扰信道，信道矩阵为。信道输出符号集，试计算： （1）信源X的信息熵；（2分） （2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分) （5） 收到消息Y后获得的关于信源X的平均信息量。（2分） P(xy) y1 y2 x1 0.9×0.2 0.1×0.2 x2 0.3×0.8 0.7×0.8 (1) H(x)=H(0.2,0.8)=0.722bit/符号 （2） I(x1;y2)=I(x1)-I(x1|y2)=log1/0.2-log0,58/0.02=-2.536bit/符号 （3） H（xy）=H(0.18,0.02,0.24,0.5