chap3-信道及其容量.pptVIP

第三章 信道及其容量 内容提要 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。 这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量 信道及其容量 信道的任务： 本章重点内容 信道的分类 离散信道的统计特性和数学模型 平均互信息及其性质 信道容量的概念及几种典型信道的信道容量计算方法 信源与信道的匹配 3.1 信道的数学模型及分类 3.1.1 信道的分类 1、信道的分类 -------按信道的用户多少 （1）两端（单用户）信道 只有一个输入和一个输出的信道。 （2）多端（多用户）信道： 有多个输入和多个输出的信道。 3.1 信道的分类 -------根据信道的记忆特性 （1）无记忆信道 输出仅与当前输入有关，而与过去输入无关的信道。 （2）有记忆信道： 信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。 3.1 信道的分类 -------按信道的参数与时间的关系 （1）恒参信道 信道的统计特性不随时间变化； （2）随参信道： 信道的统计特性随时间变化。 3.1 信道的分类 -------按输入和输出信号的特点 （1）离散信道： 输入、输出随机变量都取离散值； （2）连续信道： 输入、输出随机变量都取连续值； （3）半离散或半连续信道： 输入或输出中一个为离散值而另一个为连续值； （4）波形信道： 输入和输出随机变量取值均为连续，且随时间连续变化。 3.1 信道的分类 以下我们只限于研究 3.1.2离散信道的数学模型 信道的输入输出关系 信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真； ??信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系； ??知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。 3.1.2离散信道的数学模型 设离散信道的 3.1.2离散信道的数学模型 设离散信道的输入、输出为 3.1.2离散信道的数学模型 条件概率 P(y|x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。 离散信道的分类 根据信道的统计特性即条件概率 P(y|x)的不同，离散信道又可分成三种情况： 无干扰(无噪)信道 有干扰无记忆信道 有干扰有记忆信道 (1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号之间有确定的、一 一对应的关系。即 (2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布，但任一时刻输出符号只统计依赖于对应时刻的输入符号，即为无记忆信道。其条件概率满足： (2)有干扰无记忆信道 （图） (3)有干扰有记忆信道 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 3.1.3单符号离散信道 信道矩阵 信道传递概率实际上是一个传递概率矩阵，称为信道矩阵P 例题-----二元对称信道（BSC Binary Symmetric Channel ） 输入符号集和输出符号集分别 为A={0,1}和B={0,1}， 传递概率为： 例题---------二元删除信道(BEC，Binary Eliminated Channel) 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 离散信道中的一般概率关系 先验概率 联合概率 离散信道中的一般概率关系 续 前向概率,描述信道的噪声特性 后向概率（后验） 输出符号概率公式 3.2信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。 3.2.1 信道疑义度------------先验熵 信道输入信源X的熵 3.2.1 信道疑义度-------------后验熵 信道疑义度 后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵----信道疑义度： 信道疑义度------理解 含义：输出端收到全部输出符号Y后，对输入X所存在的平均不确定程度，这种不确定程度是由传输过程中信道的干扰引起的 如果没有干扰： 一般情况下： 互信息量I(xi ; yj) 平均互信息I(X; Y) I(X;