信息论与编码第四章.pptVIP

当 个独立并联信道的信道矩阵均为 时，可以将这个并联信道看作一个 信道。该信道的信道容量在输入相互独立时为 ，是单独信道的 倍。 独立并联信道的信道容量为： 4.4.3 一般信道容量的计算方法 一般离散信道容量的计算步骤： （1）由 ，求 ； （2）由 ，求 ； （3）由 ，求 ； （4）由 ，求 。 【例4.2】已知信道转移矩阵如下所示 求：信道容量 以及达到信道容量时信源的最佳概率分布 。 解： （1）由 ，求 ； 解之得， （2）由 ，求 ； bit/符号 （3）由 ，求 ； 解得 再由 ，求 。 4.5信源和信道的匹配 对于一个信道，我们总希望其信息传输速率 越大越好，能达到或尽可能地接近信道容量 。 由前面的分析知，这只有在信源取最佳分布时才能实现。由此可见信道的信息传输率 与信源分布是有密切关系的，当 达到信道容量 时我们称信源与信道达到匹配，否则认为信道有余度。 定义3.4 设信道的信息传输率 ，信道容量为 ，则定义信道剩余度等于： 信道剩余度=C-I(X;Y) 相对剩余度=[C-I(X;Y)]/C=1-I(X;Y )/C 用相对剩余度描述信源与信道的匹配程度 信道剩余度的概念描述了信道的实际信息传输率与最大值的相对差距。当信道为无损信道时，有 则无损信道的剩余度为 为减少信道剩余度，可以对信源进行压缩编码，提高信源的熵，使信道传输率尽可能地接近信道容量，从而使信源与信道达到匹配，信道得到充分利用。 * 则此无记忆信道的 次扩展信道的数学模型 根据信道的无记忆特性，有 其信道转移矩阵为： 且满足： 2、 次扩展信道平均互信息 其中 【例4.1】考虑二元无记忆对称信道的二次扩展信道。二元对称信道如图所示。 对于二元无记忆信道的输入和输出随机变量 和 都取值于同一符号集 ，因此，二次扩展信道的输入、输出符号集为 ，各有 个。根据信道的无记忆特性，求得二次扩展信道的传递转移概率 最后求得二元对称信道德二次扩展信道的信 道矩阵为： 二元对称信道的二次扩展信道如图所示： 定理4.1：设离散信道的输入序列X＝(X1X2…XN)通过信道传输，接收到的随机序列为Y=( Y1Y2…YN)，而信道的转移概率为p(y∣x)。 若信道是无记忆的，则有： 若信源是无记忆的，则有： 若信源与信道都是无记忆的，则有： 4.3 信道的组合 前面几节分析了离散信道。实际中常常会遇到两个或更多个信道组合在一起使用的情况。在研究较复杂的信道时，往往也可以将它们分解成几个简单的，已经解决的信道的组合，这样，可以使问题简化。 例如，待发送的消息比较多时，可能要用两个或更多个信道并行地传送，香浓称这种信道为积信道。 有时消息会依次的通过几个信道串行地传送，称此信道为级联信道或串联信道。 有时将两个以上积信道与级联信道联合起来，这类信道称为和信道。 串联信道模型 信道2 信道1 X Y Z 定理4.2 级联信道中的平均互信息满足以下关系 等号成立的充要条件，对所有的 有 定理4.3若随机变量X,Y,Z构成一个马尔可夫链，则有： 【例4.2】设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为: X0 0Z Y 1 1 1-p 1-p 1-p p 串联信道的转移矩阵为: 1-p p 于是，根据平均互信息的定义，可以算出 【例4.3】一串联信道如图所示，求总的信道矩阵，设 满足马氏链的性质。由图可知信道1，信道2的信道矩阵分别为 等效信道 4.4 信道容量 4.4.1 信道容量的定义 我们研究信道的目的是为了获得尽可能高的信息传输率，既希望信道中平均每个符号所能传送的信息量尽可能大，但由于干扰的存在，一般情况下在输出端只能接收到 。它是平均意义上每传送一个符号流经信道的平均信息量。因此信道的信息传输率 就是信道的平均互信息 当 固定为型凸函数关系，当信源分布变化到某一点时， 可达到最大值，即此时信道的信息传输率 最大，这正是我们希望的。 故对某一特定信道，当信源取某种最佳概率分布时， 能达到最大值。 定义4.5.1设某信道的平均互信息为 ，而其输入信源的分布为 ，则定义： 信道容量表征信道传送信息的