第三章 信道及信道容量 习题解答.pdfVIP

第三章 信道与信道容量 习题解答 1.设信源 通过一干扰信道，接收符号为 信道传递矩阵为 ，求 ； （1）信源 中符号 和 分别含有的自信息量。 （2）收到消息 后，获得的关于 的信息量。 （3）信源 和信宿 的信息熵。 （4）信道疑义度 和噪声熵 。 （5）接收到信息 后获得的平均互信息量。 解 ： （1）符号 含有的自信息量 ： 符号 含有的自信息量 ： （2）根据信道转移概率 ： 计算联合概率 ： ： 计算信宿端概率 ： ： 计算后验概率 ： ： 计算互信息量 ： ： 收到消息 后获得的关于 的信息量 ： 收到消息 后获得的关于 的信息量 ： 收到消息 后获得的关于 的信息量 ： 收到消息 后获得的关于 的信息量 ： （3）信源熵 ： 信宿熵 ： 1 （4）信道疑义度 ： 噪声熵 ： （5）平均互信息量 ： 2．有一个生产A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和C无误，A 以1/4概率传为A，以1/4概率误传为B、C、D，而D以1/2概率正确传输，以1/2概率误传为C， （1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解 ：（1） 先写出 ： 再根据式 求各联合概率 ： 同样得 求Y端概率空间的各 ： 同样得 2 ， ， 求联合熵 ： 比特/每对消息 信宿熵 ： 比特/消息 得可疑度 ： 比特/消息 （2）接收可靠的依据是根据下式求 ，越大表示越可靠 ： 可见接收信号A最可靠。 （3）计算信源熵 ： 得散布度 ： 比特/消息 3.设二元对称信道的传递矩阵为 （1）若 ， ，求 ， ， 和 ； （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解 ： （1）先写出 ： 根据公式 计算联合概率 ： 信宿端符号分布概率 ： 根据公式 计算 ： 3 求各熵 ： 信源熵 ： 比特/消息 信宿熵 ： 比特/消息 可疑度 ： 比特/消息 平均互信息量 ： 比特/消息 噪声熵 ：