信息论基础7第五章信道编码定理.ppt

要点： §7.1 信道编码问题 内容： 7.1.1 通信中编码的数量与质量关系 第三章已定义： 信道 信道序列 通信的第一要求是质量，如何消除信道中的误差干扰是信道编码的任务。 为了减少通信误差，最常用的方法是减少传送的信息，以数量换质量 例5.1.1 讨论一个三重二进信道的通信问题 三重二进信道 取 转移概率矩阵 为： 讨论它的通信问题： （1）如取信源 ，其中 且取概率分布为均匀分布 考虑它在信道 上的通信问题， 如取编码 为： 其中 ，这时编码误差为 信源 的熵 ，在信道 中传送3比特的通信平均误差概率为0.488 2）如果在信道 不变的条件下，减少信息的传送量，取信源 S= 为： 它的概率分布为 这时取编码 为： 那么它的编码误差为 信源S的熵为H(S)=1(比特)，所以在信道序列 中传送1比特的信息平均误差概率为0.104。 在信道不变的条件下，减少信源传输的信息量可以降低通信时的误差概率。可以通过减少消息的数目或增加信道向量的长度来实现。 7.1.2 信道序列的编码问题 信道的最大传输量有多大？ 是信道编码所要解决的其本问题。 描述： 设 是一个具有均匀分布的信源序列，取 （5.1.1） 是一个正整数集合， 在 上取均匀分布，对任何 总有 成立。这时称 是一个具有均匀分布的信源序列。 如果存在编码序列 在 时，使通信系统误差 ，称信源序列 在信道序列 中是可通过的， 定义5.1.1 称R是信道序列 的一个可达速率，如果存在一个信源序列 与数列 满足以下条件： （1） 的消息字母表 如（5.1.1）式所给， 其中 且 在 上取均匀分布. （2）存在编码序列 使 的误差 成立 编码问题就是求信道序列 的最大可达速率 . §7.2 离散无记忆信道 在 时刻的输入信号字母 固定时，它的输出信号字母 的概率与以前、以后信号无关。 内容： 7.2.1 信道容量 单字母无记忆信道 引入定义和记号： 1）对信道 ，称 上的概率分布为信道的入口分布，而称 上的概率分布为信道的出口分布，记之为： （5.2.2） 其中 ，且它们分别对全体 u 与 v 求和均为1 2）如果 与它的入口分布p 给定，那么入口与出口信号的联合概率分布确定为： （5.2.3） 这时出口分布q被确定为： （5.2.4） 称 （5.2.5） 为入口与出口信号的互信息密度函数。 （5.2.6） 为入口与出口信号的互信息，其中U，V分别为信道的入口与出口信号的随机变量。 3）互信息 其中 互信息I(U;V) 信道的转移概率分布 入口概率分布 当信道C固定时， I(U;V)是入口概率分布p的函数。 记 上的全体概率分布为 ，有： 定义5.2.1 当信道 C 固定时，称I(U;V)= I(C;p)， 为信道C关于入口分布p的互信息函数。称 （5.2.8） 为信道C 的信道容量。如果有 ， 使 成立， 那么称 为信道 C 的最大入口分布。 7.2.2 几种典型的无记忆信道 例5.2.1 典型的离散无记忆信道有： 二元对称信道，Z信道与M信道， 图（a）为二元对称信 道又 称二进对称信道。 它的输入和 输出字