编码理论第3章.pptVIP

第3章 信道及其信道容量 3.1 信道分类 3.2 离散信道的数学模型 3.2.1基本离散信道的数学模型 3.2.2离散无记忆扩展信道的数学模型 3.3 互信息量和平均互信息量 3.3.1 互信息量的基本概念 3.3.2 信道疑义度、噪声熵和平均互信息量 3.3.3 平均互信息的性质 3.4 离散信道的信道容量 3.4.1 信道容量的基本概念 第3章 信道及其信道容量 信道是信息传递的通道，承担信息的传输和储存的任务，是构成信息传输系统的重要组成部分。当信源与信宿之间没有任何干扰，即信道是无噪信道时，信宿能确切无误地收到信源发出的消息，获取信源发出消息的全部信息量。无噪信道的信息传输问题，可归结为信源本身的问题。 一般情况下，信源与信宿之间总存在噪声的随机干扰，信道是有噪信道。在有噪信道中，信道的传递作用集中体现信源与信宿之间的噪声的随机干扰作用。所以，要讨论信源与信宿之间的信息传输问题，势必讨论信道问题。 3．1信道分类 信道的分类方法可以有以下几种： 1.信道按其输入／输出信号在幅度和时间上的取 值是离散或连续来划分,可以将信道分成三类 数字信道(digital channel)或离散信道 (discrete channel) 模拟信道 (analog channel)或波形信道 (waveform channel) 连续信道 (continuous channel) 2.信道按其输入/输出之间关系的记忆性来划分 无记忆信道和有记忆信道 3.信道按其输入/输出信号之间的关系是否是确定 关系来划分 有噪声信道和无噪声信道 3．2 离散信道的数学模型 3.2.1 基本离散信道的数学模型 基本离散信道允许输入r(任意正整数)种不同的离散符号 (i＝1，2，…，r)，相应输出s(任意正整数)种不同的离散符号(j＝1，2，…，s)。 输入符号集 输出符号集 符号集X和Y之间，可完全相同、部分相同或完全不同。符号种数r和s可相等，也可不等。若信源的符号集与信道的输入符号集完全一致，则信源的每一种符号都能通过信道。基本离散信道的如图3-1所示。 信道的输入有r种不同的输入符号，输出有s种不同的输出符号，所以要完整描述信道的传递特性必须测定(r×s)个条件概率，按输入、输出符号的对应关系，把(r×s)个条件概率排列成一个(r×s)阶矩阵 [例3-1]二元对称信道，简记为BSC(Binary Symmetric Channel)。其输入输出符号均取之于{0，1}。此时r=s=2, 而且又有转移概率 3.2.2 离散无记忆扩展信道的数学模型 对离散无记忆信道的N次扩展信道 解：二次扩展离散矩阵 p(00|00)=p(0|0)p(0|0)= p(01|10)=p(0|1)p(1|0)= p(01|11)=p(0|1)p(1|1)= 3.3 互信息量和平均互信息量 3.3.1互信息量的基本概念 消息的x概率分布称为先验概率 p(x) ，接收到符号y后，接收者重新估计事件x发生的概率，记为条件概率p(x|y)，也称p(x|y)为后验概率。 事件 是否发生具有不确定性，用 度量。接收到符号 后，事件 是否发生仍保留有一定的不确定性，用 度量。观察事件前后，这两者之差就是信息传输过程中所获得的信息量，即事件之间的互信息,用 表示，有 互信息量的单位也由log函数所取的对数底数确定，当底数分别为2、e、10时，互信息量的单位分别为比特(bit)，奈特(nat)，笛特(det)。 3.3.2信道疑义度、噪声熵和平均互信息量 信息熵H(X)是在接收到Y以前，关于X的先验不确定性的度量，是X中某一个符号（事件）出现所必须提供信息量，所以称为先验熵。 条件熵H(X|Y)表示在信道输出端收到输出Y的全部符号后，对于信道输入端输入的X尚存在的不确定（存在疑义）。称这个条件熵为收到Y后关于X后验熵,也称为信道疑义度。 条件熵H（Y|X）表示在已知X条件下，对Y存在不确定性，反映了信道中噪声源不确定性，故称H(Y|X）为噪声熵（或散布度）。 信道输入X和信道输出Y之间平均互信息量为： 信息熵H(X)代表接收到输出符号以前关于输入X的平均不确定性，而H(X|Y)代表接收到所有输出符号后关于输出X的平均不确定性。通过信道传输消除了一些不确定性,获得了一定的信息。平均互信息量单位同信息熵单位一