信息论基础 课件 第6章 有噪信道编码.ppt

信道编码定理（香农第二定理）： 设R是信息传输的速率，C是离散无记忆信道的信道容量，ε0是任意小的数，则只要RC就总存在码字长为n，码字数为M=2nR的分组码使译码的平均差错概率PEε。 信道编码定理的证明 思路： 通常思路：先构造一个理想的好码，并定义一种译码准则，计算该好码经过译码后的误码率 问题：构建极其复杂且无具体方法 N值很大时，误码率计算困难 香农采取的方法: 用随机编码方法得到所有可能码的集合 在其中随机选择一个码作为信道码 利用大数定理计算在集合平均意义上的该码性能 利用联合典型序列译码 香农采取的方法评价： 不很严格，不是最优，但便于理论分析 随机编码方法在后来严格的证明中一直被采用 随机编码方法： 对每一个消息 m(m=0,1,…M-1), 编码为xm=(xm1xm2…xmn) 其中：xmi (i=1,2,…n) 是按照输入字母的概率随 机选取，从而得到全部M=2nR个码字，组 成码集C＝（x1x2….xM-1) 随机编码方法产生某一特定码字的概率P(Xm)是： 联合ε典型序列 ε典型序列：信源输出的随机序列－奠定了信源编码的基础 联合ε典型序列：两个随机变量的自然扩展，是信道编码的基础 联合ε典型序列定义： 联合AEP定理 定理解释： 联合ε 典型序列的定义 若x为ε典型序列,则: |-logP(x )/n -H(X)| ε , Xn空间中的ε典型序列集 记 为G εn (X) 若y为ε典型序列,则: |-logP(y)/n -H(Y)| ε , Yn空间中的ε典型序列集 记 为G ε n (Y) 若(x, y)满足:|-logP(xy )/n -H(XY)| ε , 则称(x, y) 为联合ε典型序列, XnYn联合空间中的ε典型序列集 记为G ε n (XY)。 G ε n (XY)={(x,y) Xnx Yn ； |-logP(x )/n -H(X)| ε |-logP(y)/n -H(Y)| ε ； |-logP(xy )/n -H(XY)| ε} 联合渐近等分割性 对于任意小的正数 ，当n足够大时，则: （1） （2） （3）以 , 和 分别表示典型序列集 , 和 中包含的典型序列的数目，则有 说明：对 编码----几乎无失真编码； ----均匀分布 ；|| || ---- 2NH(XY) 联合ε 典型序列的性质 对于任意小的正数 ，n足够大时 其中 （x,y） （1） （2）令 ,即是在给定 典型序列y条件下，与y构成联合 典型序列对的所有x序列的集合，则 同样，在给定 典型序列x条件下，与x构成联合 典型序列对的所有y序列的集合，则 定理 若 和 统计独立并与p(xy)有相同的边缘分布，即 ， 则 并对于任意正数 ，当n足够大时，有 联合ε典型序列中两序列统计独立的情况 联合ε典型序列定义： 设（X,Y）是长为N的随机序列对， 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 式中δ是任意小的数，联合典型序列的全体构成联合典型序列集，记做G 联合AEP定理： 设随机序列对（X,Y)的 ，则对任意小的数δ 0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设（X’，Y’）是相互独立的随机序列对，但它与（X,Y）有相同的边缘分布，即： 则： 联合AEP定理的解释 两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对出现概率接近相等，且其和接近于1 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率?0 联合典型序列数目为2NH(XY)， 典