信息论 信道容量总结 2.pptVIP

第三章 信道容量 在相同频带下以时间换取信噪比 ： 3.5 连 续 信 道 信道与信息传输要求的匹配 第三章 信道容量 在相同信噪比下以频带换取时间 ： 3.5 连 续 信 道 信道与信息传输要求的匹配 第三章 信道容量 在相同的持续时间下以带宽换取信噪比 ： 3.5 连 续 信 道 信道与信息传输要求的匹配 第三章 信道容量 在相同的持续时间下以带宽换取信噪比 ： 3.5 连 续 信 道 信道与信息传输要求的匹配 第三章 信道容量 在相同的持续时间下以带宽换取信噪比 ： 3.5 连 续 信 道 信道与信息传输要求的匹配 第三章 信道容量 信道编码定理： 若有一离散无记忆平稳信道，其容量为 C ， 输入序列长度为 L ，只要待传送的信息率 R C ，总可以找到一种编 码，当 L 足够长时，译码差错概率 P e ε ， ε 为任意大于零的正数。 反之，当 R C 时，任何编码的 P e 必大于零，当 L →∞ ， P e → 1 。 信道编码定理说明： 同无失真信源编码定理类似，信道编 码定理也是一个理想编码的存在性定理。它指出信道容量是一个 临界值，只要信息传输率不超过这个临界值，信道就可几乎无失 真地把信息传送过去，否则就会产生失真。 连续信道也有类似结论。 3.6 信道编码定理 第三章 信道容量 ? 香农在证明这一结论时采用了出人意料的方法 ? 通常想法：先要构造一个理想的好码，然后计 算这一码用于传输时的误码率。但这两点都很 难实现 ? 构造具有理想性能的好码是一个极其复杂的问题， 在当时根本无望解决。 ? 在 N 很大时计算这一理想好码在理想译码器或最大 似然译码器下的误码率也是及其困难的。 ? 香农在证明过程中巧妙的回避了这两个难题， 而是按照随机编码和联合典型译码方法进行论 证。 3.6 信道编码定理 第三章 信道容量 香农第二定理指出，若 RC ，则存在某种编码可以使传输错误概 率任意小；反之，若 RC ，则可以使传输错误概率任意小的编码 不存在。 它从理论上证明平均错误译码概率 P e 趋于零 、 信道信息传输速率 R 无 限接近于信道容量 C 的抗干扰信道编码是存在的。 但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程 中是完全 “ 随机地 ” 去选择一个码。这个码是完全无规律的，因此，就 无法具体构造这个码，也就无法实现和应用。但人们在理论指导下， 赋予码以各种形式的代数结构，出现了代数编码 、 卷积码等。 平均误码率 P e ：指接收的错误符号数与接收的总符号数的比值， 这里的错误符号是指无论用什么方法都不能纠正的那些码。在工 程上， P e 通常指二进制信道的误比特率，有时也称误码率。 3.7 信道编码定理的应用 第三章 信道容量 自香农给出信道编码定理以来，引起了人们对信道编 码的极大兴趣，但香农只是证明了满足这种特性的码 的存在性，还不能按照其证明方法得到好码。 由于随机编码所得到的码集很大，通过搜索得到好码 的方法在实际上很难实现，而且即使找到其中的好 码，这种码的码字也是好无结构的，这意味着译码时 只能用查表的方法，在 N 很大时，这一译码表所需的存 储量也是很难被接受的。 因此真正实用的信道码还需要通过各种数学工具来构 造，使码具有很好的结构性以便于译码。 3.7 信道编码定理的应用 第三章 信道容量 从香农第一和第二定理可以看出，要做到有效和可靠 的传输信息，我们可以将通信系统设计成两部分的组 合，即信源编码和信道编码两部分。 分两步进行处理，其信源压缩编码只与信源有关，不 依赖于信道；而信道编码只与信道有关，不依赖于信 源。这种分两步处理的方法是否与一步编码处理一样 好呢？这样分两步处理是否会带来某些损失呢？ 根据数据处理定理，如果进行处理的是一一对应的变 换，就不会增加任何新的信息损失。可以证明，信源 通过信道传输，有效和可靠地传输的充要条件是 HC 3.8 联合信源信道编码定理 第三章 信道容量 3.8 联合信源信道编码定理 定理：信源－信道编码定理 若 S = ( S 1 S 2 S n ) 是有限符号集的随机序列 并满足 AEP 性质，又信源 S 极限熵 H C ，则 存在信源信道编码，其 P E ? 0 。 反之，对于任意平稳随机序列，若极限 熵 H C ，则错误概率远离零，即不可能在 信道中以任意小的错误概率发送该随机序列。 第三章 信道容量 信道达到充分利用 时，输入和输出符号 的概率分布唯一吗？ 达到信道容量 C 的时候，输入字母分布唯一吗？ 反例： a1 a2 b1 b2 1 ? ? 1 ? ? ? ? ? 令 0.5 ? = ? 则 1 (