信息论基础信道编码理论.pptVIP

第4章 数据可靠传输和信道编码 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四 1 译码规则 若信道输入符号x，输出符号y，则制定译 码规则就是设计函数：g(y)= x. 例1.单符号离散信道的信道矩阵 2 误差概率 定义①离散无记忆信道[Χ,Q(y|x),У]: 　信源消息集W={1,2,…,M}； 　编码函数f:W→ Χn,如Χn(i)； 　译码函数g:Уn→W； 　码率R=(logM)/n； 构成一个(M, n)码． 定义②信道译码的误差概率： 定义③(M, n)码的最大误差概率： 定义④(M, n)码的平均误差概率： 1 译码规则 若信道输入符号x，输出符号y，则制定译 码规则就是设计函数：g(y)= x. 例1.单符号离散信道的信道矩阵 3 可达码率 称码率R是可达的，如果存在一个(2nR,n)码使得 4 最大可达速率 一个离散无记忆信道的最大可达速率为： 5 影响信道传输的因素 最大似然译码：g(y=0)=(x=0), g(y=1)=(x=1) Pe=10-2 6 降低错误概率策略 ①设计好的译码规则； ②重复发送→降低信息传输率R ； 问题：能否找到好的编译方法，使Pe降低， 而R保持在一定水平上？ 7 信道编码定理背景 香农1948年指出可达、最大的信息传输率是信道容量，从理论上说明了“好码”存在；并且，基于联合ε典型序列进行证明． ╣香农第二基本定理； 香农第一基本定理╠ ① 面向数字信道的信道编码 一部分科学家从事寻找最佳编码（纠错码）的研究工作，并已经 形成一门独立的分支——纠错码理论． 20世纪40年代，Golay和汉明提出分组编码技术，把代数方法引 入到纠错码的研究，形成了代数编码理论，找到了大量可纠正多 个错误的性能优异的码，而且提出了可实现的编译码方法．分组 码中的不少码，如汉明码、Golay码、BCH码等都在通信、计算机 技术中获得广泛应用． 但是代数编码的渐近性能很差，不能实现香农信道编码定理 所指出的结果．于1960年前后，提出了卷积码和概率译码， 并逐步形成了一系列概率译码理论．以维特比（Viterbi）译 码为代表的译码方法被美国卫星通信系统所采用，使香农理 论成为真正具有实用意义的科学理论． 1993年提出的Turbo码在性能上已非常接近理论极限． ②面向模拟信道的信道编码 　1974年，J.L.Massey提出将编码与调制统一考虑的概念．1982年，这一想法在G.Ungerboeck等人的研究下终于取得突破，这就是网格编码调制．网格编码调制在实际应用中发生的相位含糊问题在1984年被L.E.Wei所解决，这一方法随即被CCITT（现为ITU-T）所采纳成为一种标准．现在，网格编码调制正在向卫星通信、磁纪录等领域扩展其应用范围． 在译码理论的研究中，根据对接收信号处理方式的不同，分为硬、软判决。接收时是一个模拟量，因此在送入译码器之前应进行量化处理。 最简单的量化是二电平量化(即量化电平Q=2)，也就是硬判决，当接收信号R0时，判为“0”，否则判为“1”。这种量化太粗糙，将丢失许多有用的信息，以至于造成信噪比大约2Bd的损失。 为了避免二电平量化的这种损失，应当使量化电平数Q2也就是软判决。Q越大，量化越精细，损失也就越小，但同时译码器也就会越复杂。当量化电平超过8时，编码增益也趋于饱和，因而量化电平通常取Q=8。 软判决Vietbri译码器的结构并不比硬判决的复杂很多，但可以使性能提高2-3Bd。目前，实用中的Viterbi译码器几乎都是软判决，并且一般都采用8电平均匀量化，其性能基本达到了最大似然译码的性能。 8 联合典型序列 ①定义：关于联合分布p(x,y)的n长联合典型序列{(xn,yn)}的集Wε(n)为 ②性质： 9 信道编码定理（香农第二编码定理） 若信道是离散、无记忆、平稳的，且信道容量为C，只要待传送的信息率RC ，就一定能找到一种信道编码方法，使得码长足够大时，最大误差概率任意接近于零； 反之，最大误差概率可以任意接近零的码 （2nR,n），必满足RC． 数据处理不等式： 费诺不等式： 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5