信息论课件-信道编码.pptVIP

§6.3:信道编码定理与联合典型序列-5 联合ε典型序列 ε典型序列：信源输出的随机序列－奠定了信源编码 的基础 联合ε典型序列：两个随机变量的自然扩展，是信道编码 的基础 联合ε典型序列定义： 联合AEP定理 定理解释： §6.3:信道编码定理与联合典型序列-6 联合ε典型序列定义： 设（X,Y）是长为N的随机序列对， 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 式中δ是任意小的数，联合典型序列的全体构成联合典型序列集，记做G §6.3:信道编码定理与联合典型序列-7 联合AEP定理： 设随机序列对（X,Y)的 ，则对任意小的数δ 0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设（X’，Y’）是相互独立的随机序列对，但它与（X,Y）有相同的边缘分布，即： 则： §6.3:信道编码定理与联合典型序列-8 联合AEP定理的解释： 两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对出现概率接近相等，且其和接近于1 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率?0 联合典型序列数目为2NH(XY)， 典型x,典型Y随机组合的空间为2N[H(X)+H(Y)]， 联合典型序列占其中约1/ 2NI(X;Y)，只是很小的一部分 故：当X的数目 2NI(X;Y)时，，可使Pe?0 给出一种译码方法：译码时，取与接收矢量联合典型的码字作为输出，这种译码方法可以保证得到很低的误码率。 Input sequence Output sequence … …… … …… y wi wi+1 2nH(XY) sequences that can map to y M = 2nR code words §6.3:信道编码定理与联合典型序列-9 信道编码定理证明的几点说明 香农只是证明了码的存在性，未给出构造方法 随机编码所得的码集很大，通过搜索得到好码的方法实际上很难实现；而且即使找到，码字也是毫无结构的，只能采用查表译码方法，当N很大时，码表的存储量也很难接受 §6.4:信道编码的性能界限－1 理论性能极限－－存在性 香农信道编码定理 作用：理论极限、渐进性能 工程实现上的界限－－构造性 最小距离界限 作用：构造新码、估计新码性能时，说明新码与最好性能的码接近的程度 * * 信道编码 §6.1:信道编码概述 问题引出 什么是信道编码 信道编码的作用 信道编码的三种情形 信道编码的实质 §6.1:信道编码概述－问题引出 互信息能告诉我们什么？ 随机变量X,Y统计意义上的依存程度 可以获得的信息量 不能：所得信息能否可靠地确定信道输入？ 无噪信道编码能告诉我们什么？ 无噪无损信道，只要对信源输出进行适当编码，总能以最大信息传输率，无差错的传输信息。 但是：一般信道总存在噪声或干扰，信息传输会造成损失 实际通信中人们对传输要求什么？ 传输信息量大 传输可靠 提出的与信道传输有关的问题： 如何能使信息传输后发生的错误最少？ 错误概率与那些因素有关？ 有无办法控制？ 能控制到什么程度？ 无误传输可达的最大信息率是多少？ §6.1:信道编码概述－什么是信道编码 通信系统模型 信道编码：从消息到信道波形或矢量的映射 希望通信系统与信道统计特性相匹配的编码 §6.1:信道编码概述－什么是信道编码 复接、代数编码、调制、成形滤波、扩频、上下变频等等都属于广义的信道编码范畴 注意：信道译码可以不是离散信道译码。只有当解调为 硬判决输出时才是离散信道和离散信道译码 §6.1:信道编码概述－信道编码的作用 信道编码的作用：在资源、可靠性和传信量之间选择一个好的工作点（有时还要考虑延时）。 资源指的提供信息传输所付出的代价 包括频率、时间、空间、功率等等。但不包括实现复杂度 一个好的编码就是要充分利用资源，传递尽可能多的信息 §6.1:信道编码概述－三种情形： 给定资源和可靠性要求，通过信道编码尽量提高传输速率（例：多电平编码） 给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销（例：