信息论习题.docxVIP

[例2.1.4 条件熵] 已知X，Y,XY构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式：首先求，有[例2.1.5]将已知信源接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。0.980.02 0.20.8解：（1）由求出各联合概率：（2）由得到Y集各消息概率：（3）由，得到X的各后验概率： 同样可推出（4） =0.98(比特/符号)=1.43（比特/符号）（5）平均互信息（6）疑义度（7）噪声熵[例2.2.1]有一离散平稳无记忆信源，求此信源的二次扩展信源的熵。先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X的输出长度为2的消息序列。由于扩展信源是无记忆的，故信源的元素对应的消息序列概率根据熵的定义，二次扩展信源的熵为结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X的熵导出。即离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。[例2.2.2]设某二维离散信源X=的原始信源X的信源模型为，X=中前后两个符号的条件概率为 7/92/901/83/41/802/119/11原始信源的熵为：由条件概率确定的条件熵为：条件熵比信源熵（无条件熵）减少了0.672bi