信息论中的有噪信道编码.pptVIP

合肥学院电子系胡学友 第五章 有噪信道编码 主要内容 ◆ 错误概率和译码规则 ◆ 错误概率和编码方法 ◆ 香农第二定理 5.1 错误概率和译码规则 两种典型的译码规则 译码规则选择的一个很自然的规则就是错误概率最小 5.2 错误概率与编码方法 N＝3，输入端有8个消息，选择2个消息，即M=2，这样每个消息携带平均信息量仍为1比特，而传送一个消息需要付出三个二元符号，所以R下降到1/3 而输入端8个消息都作为消息发送，R＝1，错误概率却又降低了 在三次扩展信道中，取M=4作为消息符号 第I种选法 第II种选法 0 0 0 0 0 0 0 1 1 0 0 1 1 0 1 0 1 0 1 1 0 1 0 0 按照最大似然译码规则第I种选法PE=2×10－2 第II种选法PE=2.28×10－2 选择M=4，n＝5， 这与M=4，n=3两中编码方法比较，R略为下降一些，错误概率却小得多 汉明距离 码的最小距离： 最大似然译码规则： 最大似然译码规则用汉明距离表示为： 在有噪信道中，错误概率与编码、译码规则有关，编码可采用选择M个消息，使之对应的码字最小距离尽可能最大的编码方法；译码采用将接受符号序列译为距离最近的码字，则码长足够长时，合适的选择M，可使错误概率很小，而信息传输率保持不变 5.3 有噪信道编码定理 香农第二定理证明方法包含的思路： 允许平均错误概率任意小； 连续使用信道许多次；在n次无记忆扩展信道中讨论，使大数定律有效； 随机选取码书，证明有一种好码存在 有噪信道编码定理 ： 设离散无记忆信道[X,p(y|x),Y], p(y|x)为信道传递概率，其信道容量为C，当信息传输率RC时，只要码长足够长，总可以在输入Xn符号中找到M＝2nR个码字，构成一组码（2nR ，n）和相应的译码规则，使译码的错误概率任意小（PE －0） 有噪信道编码逆定理 ： 设离散无记忆信道[X,p(y|x),Y], p(y|x)为信道传递概率，其信道容量为C，当信息传输率RC时，无论码长多长，总也找不到一组码（2nR ，n）和相应的译码规则，使译码的错误概率任意小（PE －0） 5.4 纠错码基本思想和汉明码 处理差错的两种基本策略：纠错码和检错码 纠错码：在每一个要发送的数据块上附加足够的冗余信息，使接受方能够推导出已发出的字符应该是什么。 检错码：只加入足够的冗余位，使接受方知道有差错发生，但不知错误所在，然后，要求发送方重传。 码字：通常一帧包括m个数据位和r个校验位或冗余位，整个长度为n位,(n=m+r)则此长度为n的单元被称为n位码字。 汉明距离：两个码字中不同的位的个数 该概念的重要性：两个码字具有汉明距离d，则需要d个位差错才能将其中一个码字转换成另一个。 一种编码的校验和纠错能力取决于它的汉明距离。 纠错码分类 从功能角度：检错码 、纠错码 对信息序列的处理方法：分组码、卷积码 码元与原始信息位的关系：线性码、非线性码 差错类型：纠随机差错码、纠突发差错码、介于中间的纠随机/突发差错码。 构码理论：代数码、几何码、算术码、组合码等 码字的汉明重量 非零码元个数，二元码中指含“1”的个数 分组码纠正随机错误能力与码书中最小距离关系 常用的检、纠错码 奇偶检验码 行列奇偶检验码 1 1 0 1 0 0 1 0 1 0 1 1 0 0 0 1 0 1 1 0 1 1 0 0 0 0 1 0 0 1 1 1 1 0 0 1 1 0 0 1 1 0 1 1 0 0 0 1 等比码 检验码字中含 “1”和 “0”个数之比 如：3：2等比码， “1”－3个， “0” －2个， 5中取3码 在（n,k）线性分组码中，n－码长，k－信息位，也就是自空间的维数。 设M=(m1,m2,…mk )是输入纠错码编码器的信息组，输出码字c c ＝ m G 1×n 1×k k×n 码字 消息 生成矩阵 上表所示码字，虽然用不同的生成矩阵得到，但属于同一个（n,k）码的码字空间，检、纠错能力一样。 G2生成是码字，其前k位与消息位完全相同，这种码称为系统码，否则称为非系统码 想要保证 (n,k)线性分组码能够构成k维n重子空间，G 的k个行矢量gk,…, g2, g1必须是线性无关的，只有这样才符合作为基底的条件。 由于基底不是唯一的，所以G也就不是唯一的。 不同的基底有可能