信息论与编码讲义第十八讲.pptVIP

第五章：信道编码定理（一） §5.1 离散信道编码问题 §5.2~3 离散信道编码定理 §5.2 离散信道编码定理 首先需要说明，上述离散信道编码的编码速率（信息率R ）本来是设备所确定的。当信源每秒产生ns个字母，信道编码所使用的设备每秒产生nc个字母，则设备所确定的编码速率就是R = ns/nc。 其次，实际编码速率（实际信息率L/N ）必须不小于设备所确定的编码速率： L/N ≥R。 于是对离散信道编码有了以下两条相互矛盾的要求： （1）实际编码速率L/N 尽可能小以便使正确译码（正确接收）的概率尽可能接近1。 （2）实际编码速率不小于设备所确定的编码速率L/N ≥R。 §5.2 离散信道编码定理 设信源序列经过信源编码后变成了如下的序列 …X-2X-1X0X1X2…。 设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。 如果设备所确定的编码速率RC/H(X)，则能够同时满足以下两条要求： （1） L/N使正确译码（正确接收）的概率尽可能接近1。 （2） L/N ≥R。 如果设备所确定的编码速率RC/H(X)，则不能够同时满足这两条要求。 （如果设备所确定的编码速率R=C/H(X)，则情况如何？很复杂，属于边界情况，没有简单整齐的结论。 ） §5.2 离散信道编码定理 定理5.2.1 ，Fano不等式。 上面定义的U和V空间中的事 件满足下述不等式： §5.2 离散信道编码定理 定理5.2.2 令 是信息序列 和译码判决 序列 的联合集， 令 。则 §5.2 离散信道编码定理 定理5.2.3（编码逆定理） 设离散平稳源的字母表有M个字母，且熵 为 ，每 秒产生一个字母。令 离散无记忆信道的容量为 ，每 秒送出 一个信道符号。若长为L的信息序列被编成 长为 的码子，则误码率 满足 （5.2.8）式，当 时 为非 零值。 定义5.3.1 令X、Y是两个概率空间， ， 。若序列对 和 满足： 是 典型序列，即对任意小的正数 ，存在 使 是 典型序列，即对任意小的正数 ，存在 使 是 典型序列，即对任意小的正数 ，存在 使 定义5.3.2 长 的 典型序列集 定义为 式中的 是 中的任意子集。 §5.2 离散信道编码定理 定义5.3.3 对给定离散无记忆信道和任意 ，若有 一种编码速率为的 码，在 足够大时， 能使 ，就称 是可达的。 §5.2 离散信道编码定理 定理5.3.1（Shannon信道编码定理） 给定容量为 的离散无记忆信道 ， 若编码速率 ，则 是可达的。 §5. 3 离散信道编码定理 定理5.3.1(p122) （Shannon信道编码定理）如果设备所确定的编码速率RC/H(X)，则对任何正整数L（L=1，2，…），存在D元(N, L)码和对应的译码方法，使 西安电子科技大学 * 就称序列对 和 是联合 典型序列