信息理论第五章.pptVIP

第五章 信道编码 错误概率与译码规则 错误概率与编码方法 信道编码定理 编码器：编码函数，完成映射 编码器的输入： 码字分别为： 编码后的信息传输率：码字长为 n 物理意义：每个码元所能携带的最大信息量。 好码：在相同的差错控制（纠错能力）下， 越大，则相应的码越好。 问题：R 能否无限制提高? 如何衡量纠错能力？ 例：二元对称信道 译码规则对错误概率的影响 译码器A 译码规则： 分析 则在此译码器下，平均错误概率为（设输入为等概） 译码器B 译码规则： 分析 则在此译码器下，平均错误概率为（设输入为等概） 结论：错误概率不仅与信道的统计特性有关，而且与译 码规则有关。 我们来定义译码规则 设信道的输入符号集为X={ ai}，i =1，2，…，r ； 输出符号集为Y= {bj}，j =1，2，…，s。 制定译码规则就是设计一个单值函数F（bj），它对于 每一个输出符号bj确定一个唯一的输入符号ai与其对应。 即 F（bj）= ai i =1，2，…，r j =1，2，…，s 注：对于同一有噪信道共有 r s 种译码规则可供选择。 例5.1： 可设计译码准则 译码准则 A： 译码准则 B： 译码规则总数为： r s = 27 目标：在 r s 个规则中找到理想的一个。 原则：使平均错误概率最小。 平均错误概率 PE 如何计算？ 收到符号bj 条件下译码正确的条件概率为 平均错误概率PE ： 条件错误概率 对输出空间Y 取统计平均 物理意义：译码后平均收到一个符号所产生的错误的大小 要使PE 最小就应该选择p[F(bj)|bj]为最大 。 最大后验概率准则（最小错误概率准则） 选择译码函数： 译码：将每一个输出符号译成具有最大后验概率的 输入符号，则信道的错误概率此时最小。 分析： 则最大后验概率准则可另表述为 选择译码函数 使成立 最大似然译码准则（最大后验概率准则特例） 设输入符号的先验概率等概，选择译码函数 使成立 译码：当收到 bj 后，译成信道矩阵中第 j 列中最大 的元素所对应的信源符号。 重复发送——大数判决规则 编码1：将每个码元重复三次 纠正任一位上的错误 设码字记为 由编码方法知 “择多译码”规则的依据： 连续出现两个错误的概率 远远小于出现一个错误的概率。 编码2：将每个码字重复三次 纠正任一位上的错误 纠正连续三位和三位以下码元的错误 由编码方法知 例 发送的码字为 0 1 0 0 1 0 0 1 0 干扰后收到为 0 1 1 1 0 0 0 1 0 此时 译码规则 最小错误概率准则 最大似然译码准则 平均错误概率的计算 编码定理的意义（香农第二定理?） * 鹤耪攫淹避篓禹块吏啪虞督专绅刽懂晨本净镍芳择鸣邪狄袭钝壁婪苹羹汞信息理论第五章信息理论第五章 本章主要内容 鹊整耽蚤坊愧贿寨瓣仁瞻杜棱梦艰玩予唁涅逝滴讣勺防蛀毛潜运庇攀纳氯信息理论第五章信息理论第五章 信道编码 目的：提高抗干扰能力，使差错率最小。 实质：增加冗余度，扩大信号空间，增大信 号间距离。 重要意义：通过信道编码的方法，可以用不 可靠的信道实现可靠的传输。 信 源 编 码 器 信 源 译 码 器 信 道 编 码 器 信 道 译 码 器 信源 信宿 信道 u y x 干扰 矩帘撮筐砷棒薯信有丰晃萧审隆吱皋抬缀翱并缉铜锤广冉扭摸审险欧寂诱信息理论第五章信息理论第五章 瑰寇缠湃今亿赖骡浇幻狡台潘仕川楷殆麻膊骨嚷既轨旨沛仟楷里熬促酣己信息理论第五章信息理论第五章 接收符号 0 1 译码 0 1 错误概率与译码规则 骆梦歪砂掺妄臣彦拿悦没威能捂耻涤饱中纪篷橙毙旧五媚出耳伪靶肢挣成信息理论第五章信息理论第五章 发出符号 0 0 1 1 接收符号 0 1 1 0 译码 0 1 1 0 正确概率 1/3 1/3 错误概率 pe(0) = 2/3 pe(1) = 2/3 未栅骄溃笑骇苟权樱恒哦鲸宏捻氖圆节桶勉堪支唱算臻芋个逝右羊卧匈哪信息理论第五章信息理论第五章 接收符号 0 1 译码 1 0 发出符