信息论基础——信道容量计算.pptVIP

* 定理4.2.2 一般离散信道达到信道容量的充要条件是入口概率分布满足 该定理表明，当信道平均互信息达到信道容量时，输入信源符号集中每一个符号对输出端提供相同的互信息；只是概率为零的符号除外. * 可得： 注：这时要找某个 使得I(U;V)达到最大值，困难! 定理求法 即 * 可整理为： 从而 ， 即， 解得： Z信道 * 解方程组，求信道容量 由定理4.2.2可得： 即 令 * 可得 （*） 由于 两边求和，得 从而，对应的输出概率分布为： 从而可得最大入口分布！ 解方程组，求信道容量 * 例： 可列方程组： 解方程组，求信道容量 * 解之得： 解方程组，求信道容量 信道容量 最佳入口分布 * 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余. 定义：信道剩余度＝C-I(X;Y) 信道的相对剩余度＝ * 如何才能做到匹配呢？ 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率. 这就是香农无失真信源编码理论，也就是无失真数据压缩理论. 无失真信源编码就是将信源输出的消息变换