信息论基础和 与编码课件第六章信道编码定理.ppt

第六章 信道编码定理 ;6.1基础知识 ;6.1基础知识;6.1.1译码准则;6.1.1译码准则 ;在确定了译码规则以后，收到 的情况下，译码的条件正确概率为: 而错误译码的概率为收到 后，推测发出除了 之外其他符号的概率。 可以得到平均错误译码概率为 信道译码的关键问题就是如何选择 ，经过前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足下列条件。;2．最大似然概率准则 根据Bayes公式 我们可以得到 ;3．离散无记忆信道的译码 对于离散无记忆信道（DMC）有 由于对数函数为单调函数，故可将其改写为对数函数形式。 ;似然函数可以进一步改写为 其中： 为r和c之间的汉明距离。 ;4．高斯白噪声信道的译码 对于均值为0，双边功率谱密度N0/2高斯白噪声信道 ;6.1基础知识; 费诺不等式：平均错误概率 与信道疑义度 满足以下关系。 ;6.1.2费诺不等式;6.1基础知识;1．??典型序列 则它的N次扩展信源为 ，且有 ;定义：N长的序列，对于任意小的正数，满足 ;6.1.3?典型序列及其性质;2．联合??典型序列 ;如果假设x，y是典型序列，则对任意小的正数??有;6.1.3?典型序列及其性质;在对x典型序列进行编码的时候希望输出的y序列之间没有重合。如果对y典型序列的进行不同子集的划分，而且各个子集没有重复，假设不同x典型序列传输后能够对应不同的y典型序列，根据判决准则就可以完全无误地检测出发送信息。 对于在给定ε典型序列x的条件下，与x构成联合典型序列的y典型序列集合的大小满足： 。 因此对于y典型序列的进行不同子集的大小应该满足此条件，所以，y典型序列可以划分的子集合的数目就小于等于 ，也就是说当x典型序列的数目小于 的时候，则在输出端的子集合就完全不重合，就可以无误地译出。所以对于x典型序列可以完全识别的数目大约为 。 ;第六章 信道编码定理 ;信道编码定理：如一个离散无记忆信道，信道容量为C，当信息传输率R≤C时，只要码长足够长，总可以在输入符??集中 找到M 个码字组成的一组码和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。该定理也称为shannon第二编码定理。 信道编码逆定理：如一个离散无记忆信道，信道容量为C。当信息传输率RC时，则无论码长n多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。 信道编码定理只是一个存在定理，它说明在一定条件下错误概率趋于零的好码是存在的，但是没有说明如何构造这个好码。尽管如此，信道编码（香农第二定理）仍然具有重要的理论意义和实践指导作用，它可以指导各种通信系统的设计，有助于评价各种通信系统及编码效率。;第六章 信道编码定理 ;从Shannon第一编码定理（信源编码定理）和第二定理可以看出，要做到有效、可靠地传输信息，可以考虑将通信系统设计成相对独立的两部分组合，即信源编码和信道编码两部分，如图6-6所示。