信息论与编码讲义第十八讲.pptVIP

西安电子科技大学 西安电子科技大学 信息论与编码讲义第十八讲 第一页，共十一页，2022年，8月28日 §5.2 离散信道编码定理 首先需要说明，上述离散信道编码的编码速率（信息率R ）本来是设备所确定的。当信源每秒产生ns个字母，信道编码所使用的设备每秒产生nc个字母，则设备所确定的编码速率就是R = ns/nc。 其次，实际编码速率（实际信息率L/N ）必须不小于设备所确定的编码速率： L/N ≥R。 于是对离散信道编码有了以下两条相互矛盾的要求： （1）实际编码速率L/N 尽可能小以便使正确译码（正确接收）的概率尽可能接近1。 （2）实际编码速率不小于设备所确定的编码速率L/N ≥R。 第二页，共十一页，2022年，8月28日 §5.2 离散信道编码定理 设信源序列经过信源编码后变成了如下的序列 …X-2X-1X0X1X2…。 设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。 如果设备所确定的编码速率RC/H(X)，则能够同时满足以下两条要求： （1） L/N使正确译码（正确接收）的概率尽可能接近1。 （2） L/N ≥R。 如果设备所确定的编码速率RC/H(X)，则不能够同时满足这两条要求。 （如果设备所确定的编码速率R=C/H(X)，则情况如何？很复杂，属于边界情况，没有简单整齐的结论。 ） 第三页，共十一页，2022年，8月28日 §5.2 离散信道编