[理学]第五章 信道编码.pptVIP

信息论基础Fundaments of Information Theory 武汉科技大学信息科学与工程学院 第五章 有噪信道编码 错误概率及相关因素 如何使信号经过传输后，错误概率最小 有噪信道编码 有噪信道编码 信源编码：有效性 信道编码：可靠性 有噪信道编码 错误概率及相关因素 与以下三个因素有关： 信道特性 译码规则 编码方法 信道统计特性 无噪无损信道：错误概率0 P=0.5的二元对称信道：错误概率50% 译码规则 译码规则 “译码规则”：设计一个函数 ，对于每一 个输出符号 ，确定唯一的输入符号 与之 对应 译码规则 译码规则 二元对称信道 译码规则 对于一个 的传递矩阵，译码规则共有 种 译码规则 对于确定 ，制定译码函数 译码规则 译码规则 技巧：一般都不直接求 译码规则－例 译码规则－例 最小错误概率准则 平均错误概率定义后，一个很自然的准则就是 使平均错误概率最小，即最小错误概率准则 最小错误概率准则 即选择函数： 最小错误概率准则 贝叶斯定律 最大似然准则 输入符号等概率分布时，最大后验概率准 则变成了 译码规则的选取 最大后验概率准则依赖 最大似然准则仅依赖 译码规则－例 例：信道的传递概率矩阵 求译码规则和平均错误概率 1.输入等概率时 2. 3. 用最大似然准则 译码规则－例 1.等概率分布时，用最大似然准则，等效于 最大后验概率准则。对于传递矩阵中的每一 列，选一个最大的传递概率，对应的输入符 号即为该输出符号的译码函数 译码规则－例 2.已知输入概率分布，用最大后验概率准 则，求联合概率 译码规则－例 3.非等概率分布，但是规定要用最大似然准则 课堂练习 离散信道的传递概率矩阵为 分别按照最小错误概率准则和最大似然准则 确定译码规则，并计算相应的平均错误概率 课堂练习、作业 用最大后验概率准则，求联合概率 课堂练习、作业 用最大似然准则 编码方法 编码方法－增加扩展次数 二元信源进行编码 方法1：0；1 方法2：000；111 编码方法－增加扩展次数 方法1：0；1 编码方法－增加扩展次数 用方法二，增加扩展次数可以降低错误概率 编码方法－减小输入符号数 令n=3，M变化，看看此时 和R的变化情况 编码方法－减小输入符号数 M=8时的情况： 编码方法－减小输入符号数 M=4时的情况，输入符号是： 000、011、101、110 编码方法－减小输入符号数 M=4时的情况，输入符号是： 000、011、101、110 编码方法－减小输入符号数 总结：当n=3不变，M变化时 编码方法－调整输入符号 n一定，M也一定，选择不同的输入符号 编码方法－调整输入符号 第二种方式和第一种方式相比，信息传输率 一样，平均错误概率更大 编码方法－增大最小距离 第一种：两两之间都有2个二元符号不同。一个二 元符号出错，不会串扰到其它输入符号，因此可以 判断出现了错误 。 第二种：000与其它输入符号之间只差一个二元符 号，当000任何一个二元符号出现错误时，就会串 扰到其它输入符号上，也就判断不出错误。 编码方法－增大最小距离 为了描述符号序列之间的这种相差性，定 义了汉明距离。 编码方法－增大最小距离 相应位置上的码元是否相同，在C语言中就 是异或运算（相异为1，相同为0），所以汉 明距离可以表示为： 编码方法－增大最小距离 最小距离：任意两个码字的汉明距离的最小 值，称为该码的最小距离 编码方法－增大最小距离 前面我们讲到的减小错误概率的方法，如M 一定，增大n；n一定，减小M。本质上都是 为了增大最小距离 最小距离译码规则 定义了汉明距离之后，又引入了一种译码规 则：最小距离译码规则 最小距离译码规则 选择译码函数时不用计算传递概率，只用计 算汉明距离 最小距离译码规则 最小距离译码规则、最大似然准则都仅仅考 虑了信道的统计特性，没有考虑输入序列的 概率分布。两种译码规则有什么样的区别与 联系呢？ 最小距离译码规则 最小距离准则为： 最小距离译码规则 因此有： 最小距离译码规则 对于正常的信道，有 ，正确概率大于错 误概率 的幂数越高， 则越大，也就是汉明 距离D 越小， 越大 最大似然准则和最小距离准则实现了统一 最小距离和纠错能力 要检测1位错误，要求码的最小距离 课堂练习 设某二元码为C={11100, 01001, 10010, 00111} 1、计算此码的最小距离 2、计算此码的码率R，假设码字等概率分