研究生《信息处理与编码》课程综合试题.docVIP

研究生《信息处理与编码》课程综合试题 专业： 姓名： 学号： 设信源通过一干扰信道，接收符号为，信道传递概率如下图所示。 求： 信源X中事件X1和X2分别含有的自信息。 收到消息yj (j=1,2) 后，获得关于xi (i=1,2)的信息量。 信源X和信源Y的信息熵。 信道疑义度H(H|Y)和噪声熵H(Y|X)。 接收到消息Y后获得的平均互信息。 解： （1）自信息： 0.51 1.74 （2）互信息量： 依题意有： 由求出各联合概率： =0.7?= =0.7?= =0.3?= =0.3?= 又由 得到Y集各消息概率： 又由求X的各后验概率: == == == == 则： = 0.04 = 0.11 = 0.20 = 0.38 （3）信源熵：； 联合熵： 0.88 0.70 = 1.58 （4）信道疑义度 或 则：= 0.87 噪声熵 或 则：= 0.70 （5）平均互信息量： 或 则：= 0.01 某信源有8个符号｛X1…..X8｝，概率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/128，编程这样的码：000、001、010、011、100、101、110、111。计算： 信源的符号熵H(X)； 出现一个“1”或“0”的概率； 这样的码的编码效率； 相应的香浓码和费诺码； 相应的香浓码和费诺码的编码效率。 解： （1）信源熵 = 1.98 （2）将信源输出的符号按照固定的规则进行变换，即： 出现一个“0”的概率p0=p(011)+p(101)+P(110)= 1/16+ 1/64+ 1/128=11/128 出现一个“1”的概率p1= p(001)+p(010)+P(100)= 1/4+ 1/8+ 1/32=13/32 （3）编码效率:，—信源熵，—平均码长，m—码字序列符号进制数；二元编码效率：；平均码长： 依题意有：此编码是二元编码，所以 = 3 （码元/符号） 则：= 1.98 / 3 = 0.66 （比特/码元） （4）①香农码编码过程如下： 1) 将信源符号按概率从大到小的顺序排列：p(x1)≥p(x2) ≥…≥p(xn) 2) 确定下列不等式的整数码长Ki: -logp(xi)≤Ki＜-logp(xi)+1 以 i=3 为例： 3 ≤ k34，所以k3=3。 4）将累加概率pi变成二进制数 以 x3 为例： 0.125 × 2 = 0.25 … 0 ； 0. 25 × 2 = 0.5 … 0 ； 0. 5 × 2 = 1.00 … 1 ； 有001，又k3=3，则码字为001。 同理可求得各二进制码字。 5）取pi二进制数的小数点后Ki位即为该消息的二进制码字。 香农码编码结果如下表： 信源消息 符号xi 符号概率 p(xi) 累加概率 pi -logp(xi) 码字长度 Ki 码 字 X1 1/2 0 1 1 0 X2 1/4 1/2 2 2 10 X3 1/8 3/4 3 3 110 X4 1/16 7/8 4 4 1110 X5 1/32 15/16 5 5 11110 X6 1/64 31/32 6 6 111110 X7 1/128 63/64 7 7 1111110 X8 1/128 127/128 7 7 1111111 ②费诺码编码过程如下： 1）将信源消息符号按其出现概率大小依次排列：p(x1)≥p(x2) ≥…≥ p(xn) 2）将依次排列的信源符号按概率值分两大组,对各组赋予一个二进制元码0、1； 3）将每一大组的信源符号进一步分组,使划分后的两组概率和近于相同并又赋两组0、1； 4）如此重复,至两组只剩下一个信源符号为止； 5）信源符号所对应的码字即为费诺码。 费诺码编码结果如下表： 信源 符号 xi 符号 概率 p(xi) 第一 次 分组 第二 次 分组 第三 次 分组 第四 次 分组 第五 次 分组 第六 次 分组 第七 次 分组 二元 码字 码长 Ki X1 1/2 0 0 1 X2 1/4 1 0 10 2 X3 1/8 1 0 110 3 X4 1/16 1 0 1110 4 X5 1/32 1 0 11110 5 X6 1/64 1 0 111110 6 X7 1/128 1 0 1111110 7 X8 1/128 1 1111111 7 （5）由于；；； ①香农码编码中：