纠错码课件.pptVIP

ISBN码的码元结构为 ISBN C8 C7 C6 C5 C4 C3 C2 C1 C0 –C校 则正确的书号一定满足 (1-70) 检验书号是否有错，只要核算(1-70)式是否成立。 如上面提到的《编码和信息理论》一书中 0×10+1×9+3×8+1×7+3×6+9×5+1×4+3×3+9×2+9=143，求模 [143]MOD11= 0 显然书号是正确的。书号的各位码分别乘以一个数叫做“ 加权”，这里的权值是2～10。 * 概率信息论 香农信息论提出了基于概率的信息量度方法，定义信息为“ 不确定性的量度”。若事件A发生的概率是P(A)，则其自信息量定义为： bit（比特） (1-1) 码元的平均自信息量称为信息熵，它是码元在不同取值下自信息量的加权和，定义为 (1-2) 等概时信息熵最大 在码元取值等概时，一个8电平码的信息熵是 bit 即发送一个等概的8电平码元可以携带3bit信息。 但各电平不等概时，携带信息量就小于3bit。比如发生概率{1/4,1/8,1/8,1/8,1/8,1/8,1/16, 1/16 }时， bit 一般规律是：当各信号等概出现时，信息熵最大。据此，我们在编码时总是希望各码元等概取值。 狭义与广义信息论 香农第一定理：无失真信源编码定理。 香农第二定理：有扰离散信道的信道编码定理。 香农第三定理：限失真信源编码定理。 香农公式 ：有扰信道容量。 以此为基础产生香农信息论，或叫“ 狭义信息论”。 狭义信息论中的信息只与信息的概率有关，而与信息本身无关。从完美的观点看，信息理论还应该包含语义（信息含义）和语用（对接受者的作用大小）的因素，这种广义信息论正在蕴酿中。 狭义信息论的核心内容有三大码，即信源编码、信道编码和保密编码 cryptographic 。 信道编码－线路码与纠错码 信道编码是以信息在信道上的正确传输为目标的编码，它可分为两个层次上的问题：一是如何正确接收载有信息的信号，二是如何避免少量差错信号对信息内容的影响；前者是《通信原理》的问题，后者是《信息论》的问题。 比如在数字基带信号中的编码，主要目的是为了消除直流分量、改造信号频谱、便于时钟频率的提取、实现数字信号的透明传输等。还有的是为了压缩占用带宽、抑制码间干扰，如部分响应系统。这个层次上的编码，如曼彻斯特码、AMI码、HDB3码、nBmB码、部分响应系统中的相关编码等，一般称之为线路编码（line code）。 从信息论角度来看的信道编码是指第二层次的编码，即差错控制编码，包括各种形式的纠错、检错码，统称为纠错编码。纠错编码的理论体系属于信息理论，但纠错编码的实现离不开有形载体的信号理论，因此信息的编码与信号的编码有天然联系。纠错码在有形化信号阶段的差错概率是符号(symbol)差错概率（误码元率） ，而在承载信息方面的差错概率是比特差错概率 (误比特率)。 本书讨论的信道编码主要指纠错编码，而衡量纠错编码性能的指标主要是误比特率的改善程度。 编码信道 输入、输出、转移概率矩阵三要素 频带传输 基带传输 存储系统 信道模型 输入x?X 信道 调制器 基带 写入头 编码器 调制器 转移 概率 信道 信道 存储介质 矩阵 +噪声 +噪声 +介质缺陷 {P(x|y)} 信道 解调器 基带 读出头 解码器 解调器 输出y?Y 信道模型 BSC-Binary Symmetric Channel