信道容量和编码-Error.pdf

第2章 信道容量和编码 实验者们认为那是一个数学定理，而数学家们则相信那是个实验事实。 —Lippman, Gabriel (1845—1921) 2.1 引言 在第1章中我们看到多数自然信源都有固有的冗余度，因此通过不同信源编码技术将这 些冗余去掉以实现对数据的压缩是可能的。当信源符号可以用尽量少的比特数来有效地表 示以后，我们通过信道（如电话线、光纤等）来传输这些比特流。这些比特可能被原样传 输（基带通信），或经过调制后传输（通带通信）。令人遗憾的是，现实生活中的所有信道 都有噪声。噪声这个术语是指那些对传输和处理通信系统中的有用信号造成干扰的无用波。 噪声的来源可能是外界的（如大气噪声、人工噪声等），也可能是内在的（如热噪声、放射 噪声等）。结果是在接收端得到的比特流很可能与原来传输的不一样。在通带通信中，解调 器处理的是信道弄损的波形，这些波形再化简为一个矢量或向量来近似表示传输的数据符 号。检波器在解调器之后判决原来传输的比特是0 还是1 。这种方法叫硬判决译码 （hard decision decoding ）。在译码器上的这种判决过程与两个等级的二元量化很相似。如果在量 化中有多于两个的等级，则检波器实施的方法称为软判决译码 （soft decision decoding ）。 使用硬判决译码会在接收端造成不可挽回的信息丢失。假设调制器发送的只是二元信号， 而解调器接收到Q个符号的字符，再假定量化器的使用如图2-1a所示，这里我们有Q ＝8 。这 样的信道称为二元输入Q元输出离散无记忆信道 （discrete memoryless channel ，DMC ）。这种 对应的信道如图2-1b所示。译码器的性能取决于量化器的表示级数的位置，而量化器的表示 级数又取决于信号水平和噪声功率。相应地，为了实现一个多级量化器，解调器必须采用自 动增益控制技术。很明显构造这样的译码器比硬判决译码器要复杂得多。但是软判决译码比 硬判决译码有着明显的改善。 输出 输入 a) 多级量化器传输特征 b) 信道转移概率图 图 2-1 42 第一部分　信息论和信源编码 数字通信工程师们必须考虑三个因素：传输信号的功率、信道带宽以及通信系统的可靠 性（在比特误差率方面）。信道编码允许我们牺牲上面的一种因素（信号功率、带宽或可靠性）。 在本章中，我们将学习在有噪声的情况下如何得到可靠的通信。我们将问自己这样的问题： 在一个给定带宽和信噪比（SNR ）的信道上每秒钟能传输多少比特？为此我们首先介绍几个 信道模型。 2.2 信道模型 我们已经看到了最简单的信道模型—二元对称信道 （Dinary ymmetric hannel ，BSC ）。 若调制器采用的是二元波形，而检波器用硬判决，那么信道可以看做是在发送端输入一个二 元比特流，在接收端输出另一个比特流。图2-2表示出了这种模型。 解调器/ 信道编码器 二元调制器 信道 信道译码器 检波器 联合信道 图2-2 一种联合的离散输入离散输出信道（由调制器和解调器/检波器组成） 联合的离散输入离散输出信道 （discrete-input, discrete-output channel ）可描述为一个可 能的输入集X ＝{0, 1}、一个可能的输出集Y＝{0, 1}，以及将可能输出与将可能输入相关联的 条件概率。假设信道中的噪声以错误概率p 在二元序列的传输中产生独立错误