第6章_有噪信道编码定理-2005-9.ppt

此码能纠正所有码字中一位码元错误，也能纠正其中两个两位码元的错误。 掌握 （5）码字之间区别的度量——码字距离 汉明距离：长度为 n 的两个符号序列 码字 ?i和?j之间的距离是指?i和?j 之间对应位置上不同码元的个数，用符号D ?i，?j 表示。这种码字距离通常称为汉明距离。 如： 则 对于二元信道（即二元码），汉明距离可表达成下述关系式： 令 则?i和?j 的汉明距离为： 掌握 在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。 最小距离 在任一码书中，码的最小距离与该码的译码错误概率有关。 掌握 码A 码B 码C 码D 码字 000 111 000 011 101 110 000 001 010 100 000 001 010 011 100 101 100 111 消息数M 2 4 4 8 最小距离 dmin 3 2 1 1 信息传输率R 1/3 2/3 2/3 1 错误概率 前边的5种码的距离： 理解 很明显， 越大， 越小，在M相同的情况下也是一样 码书中最小距离越大，受干扰后，越不容易把一个码字错成 为另一码字，因而错误概率小。若码书的最小距离小，受干 扰后很容易把一码字变成另一码字，因而错误概率大。 结论：在编码选码字时，要使码字之间的距离越大越好。 理解 （6）最大似然译码准则与汉明距离的关系 若 和 之间的距离为 [记为Dij ]，它表示传输过 程中 传输到 ，有 Dij 个位置发生了错误， n - Dij 个 位置没有错误。 按照最大似然译码准则，应选择译码函数： 使得： 理解 设二元对称信道的单个符号传输错误概率为p，当信道是无记 忆时，则编码后信道的传递概率为： 通常p＜1/2，Dij越大?P ?j / ?i 越小，Dij越小?P ?j / ?i 越大。 理解 第六章 有噪信道编码 第五章结论：在无噪无损信道上，只要对信源的输出进行恰当 的编码，总能以信道容量C无差错地传输信息。 实际信道都有噪声干扰。本章研究香农第二定理，即通信的可 靠性问题。包括： 1 怎么使有噪信道中消息传输错误最少 2 在有噪信道中无错误传输的可达的最大信息传输率是 什么? 了解 第六章 有噪信道编码 第一节 错误概率与译码规则 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第五节 纠错编码的基本思想 第四节 联合信源信道编码定理 第一节 错误概率与译码规则 （1）错误概率的相关因素 错误定义：译码输出不等于信源输入 产生原因：噪声干扰 研究目的：减少错误，提高可靠性 研究途径：信道的传递矩阵 信道统计特性 错误概率 当确定了输入和输出对应关系后，也就确定了信道矩阵 中哪些是正确传递概率，哪些是错误传递概率。 通信过程一般并不是在信道输出端就结束了，还要经过 译码 或判决 过程才到达消息的终端 收信者 。因此译码过 程和译码规则对系统的错误概率影响很大。 了解 例：有一个BSC信道，如图所示 0 1 0 1 1/3 1/3 2/3 2/3 若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为1/3，可见错误概率与译码准则有关。 掌握 （2）译码规则定义 其中F bj 是单值函数，即对于每一个输出符号bj 确定一个惟 一的输入符号ai与其对应。 定义 对输入符号集为 i 1,2,…,r, 输出符号集为 i 1,2,…,s的离散单符号信道，制定译码规则就是 设计一个函数F bj ，使得： 理解 例： 译码规则的数目 和B： 由于s个输出符号中的每一个都可以译成r个输入符号中的任 何一个，所以共有rs种译码规则可供选择。 可以设计译码准则A： 掌握 3 平均错误概率 在确定译码规则 F bj ai 后： 若信道输出端接收到的符号为bj，则译为ai 若发送端发送的是ai则为正确译码；否则为错误译码。 收到bj条件下译码的正确概率即为发送端发送ai的概率： 而错误译码的概率为收到 后，推测发出除了 之外其它符号的概率： 条件错误概率 掌握 可以得到平均错误译码概率为： 它表示经过译码后平均每收到一个符号所产生错误的大小，也称平均错误概率。 掌握 （4）最小错误概率准则 为使 最小，就应选择 为最大，即选择译码函数 并使之满足条件： 这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。 收到一个符号以后译成具有最大后验概率的那个输入符号。 掌握 根据贝叶斯定律，上式也可以写成 一般P bj 不等于0，这样，最大后验概率准则就可表示为： 掌握 当信源等概分布时，上式为： 这称为最大似然译码准则，方法是收到一个 后，在信道矩阵的第j列，