《信息论基础》第3章 离散信道及其信道容量（刘昌红）.pptVIP

1 1 1 X Y (a)无噪无损信道 Y X （b）有噪无损信道 （c）无噪有损信道 X Y I(X;Y) I(X;Y) H(X)=I(X;Y) H(Y) H(Y/X) 有噪无损信道 H（Y）=I（X；Y） H（X） H（X/Y） 无噪有损信道 * 《信息论基础》 主讲人：刘昌红 第3章 第3章离散信道及其信道容量 3.1 信道的数学模型及分类 1. 信道的分类 2. 离散信道的数学模型 3. 单符号离散信道的数学模型 3.2 信道容量及其一般计算方法 1. 离散无噪信道的信道容量 2. 对称离散信道的信道容量 3. 准对称信道的信道容量 4. 一般离散信道的信道容量 第3章离散信道及其信道容量 在一般广义的通信系统中，信道是很重要的一部分。信道的任务是以信号方式传输信息和存储信息。 我们研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。 本章首先讨论离散信道的统计特性和数学模型，并导出信道容量及其计算方法。但本章只限于研究一个输入端和一个输出端的信道即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。 3.1信道的数学模型及分类 3.1信道的数学模型及分类 我们知道信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输和存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入，它使信号通过信道产生错误和失真。故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖关系。只要知道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。 1.信道的分类 1.信道的分类 实际的通信系统中，信道的种类很多，包含的设备也各式各样。实际的通信系统中，根据载荷消息的媒体不同，可有邮递信道、电信道、光信道、声信道等等。从信息传输的角度来考虑，信道输入和输出信号的形式、信道的统计特性以及信道的用户多少等方法来进行分类。 1、两端（单用户）信道 2、多端（多用户）信道 根据信道的用户多少分类 1、无反馈信道 2、反馈信道 根据信道输入端和输出端的关联 根据信道的参数与时间的关系，信道又可分为 1、固定参数信道 2、时变参数信道 根据输入和输出信号的特点，信道可以分为 1、离散信道 2、连续信道 3、半离散或半连续信道 4、波形信道 1.信道的分类 根据信道的用户多少，可以分为： (1) 两端(单用户)信道。它是只有一个输入端 和一个输出端的单向通信的信道，如图 (2) 多端(多用户)信道。它是在输入端或输出端中至少有一端有二个以上的用户，并且还 可以双向通信的信道。 1.信道的分类 通信系统框图 信源 信道 信宿 （干扰和噪声） （发送者） （收信者） 1.信道的分类 根据信道输入端和输出端的关联，可以分为： (1) 无反馈信道。信道输出端无信号反馈到输入端，即输出端信号对输入端信号无影响、无作用。 (2) 反馈信道。信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。 1.信道的分类 根据信道的参数与时间的关系，信道又可以分为： （1）固定参数信道。信道的参数(统计特性)不随时间变化而改变。 （2）时变参数信道。信道的参数(统计特性)随时间变化而变化。 1.信道的分类 根据输入和输出信号的特点，信道可以为： (1)离散信道。它是指输入和输出的随机序列的取值都是离散的信道 (2) 连续信道。它是指输入和输出的随机序列的取值都是连续的信道。 (3) 半离散或半连续信道。输入序列是离散型的但相应的输出序列是连续的信道，或者相反。 1.信道的分类 (4)波形信道。信道的输入和输出都是一些时间上连续的随机信号 即信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。一般，可用随机过程来描述其输入和输出。不论何种随机过程，只要有某种限制(如限频或限时)，就可分成时间(或空间)上离散的随机序列。 1.信道的分类 由于实际信道的带宽总是有限制的，所以输入信号和输出信号总可以分解成时间离散的随机序列来研究。在这随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。因此，波形信道可分解成离散信道、连续信道和半离散或半连续信道来研究。 以下我们只限于研究无反馈、固定参数的单