信道容量演示文件修改版.ppt

第3章 信道容量 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 3.1 信道的数学模型和分类 信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。 信道的数学模型： 信道特性可用如下的转换概率来描述 P(Y/X) = p(y1y2…yN/x1x2…xN) 信道的数学模型可表示为{X,P(Y/X),Y} 如图所示 信道的分类1－按时间特性 根据输入输出事件的时间特性和集合的特点： 离散信道：输入离散，输出离散； 连续信道：输入连续，输出连续； 半连续信道：输入和输出一个离散一个连续； 时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列 波形信道：输入和输出都是连续随机信号。 信道的分类2－按输入输出个数 根据信道的输入输出个数： 单用户信道：只有一个输入端和一个输出端，信息只朝着一个方向（单向）传输； 多用户信道：输入端和输出端至少有一端存在两个以上用户，信息在两个方向上（双向）都可以传输。 信道的分类3－按输入输出随机变量个数 根据信道输入、输出随机变量个数： 单符号信道：输入和输出端都只用一个随机变量来表示； 多符号信道：输入和输出端用随机变量序列或随机矢量来表示。 信道的分类4－按信道接入 根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用； 广播信道：单一输入，多个输出。 信道的分类5－按统计特性 根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。 信道的分类6－按记忆特性 根据信道的记忆特性： 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。 信道的分类7－按有无干扰 根据信道上有无干扰： 无干扰信道：不存在干扰或噪声的信道，或干扰和噪声可忽略不计的信道； 有干扰信道：存在干扰或噪声的信道。实际信道一般都是有干扰信道。 信道的分类 信道划分是人为的，比如： 其中： C1为连续信道，调制信道；C2为离散信道，编码信道； C3为半离散、半连续信道；C4为半连续、半离散信道。 特殊信道 无损信道：输入完全由输出决定。 有下列等价的定义 特殊信道(续) 确定信道：输出完全由输入决定。 下列两个定义等价 无噪信道：既是无损信道又是确定信道。 在X已知时，Y的不确定度为0， H(Y|X) = 0；已知Y时，X的不确定度为0,即H(X|Y) = 0。 特殊信道(续) 无用信道：从输入不能得到有关输出的任何信息的信道。 下列定义等价 3.2 单符号离散信道的信道容量3.2.1 信道容量的定义 单符号离散信道的输入X∈{x1,x2,…,xi,…,xn}，输出Y∈{y1,y2,…,yj,…,ym}。 信道模型 信道统计特性由信道转移概率p(yj/xi)描述。信道转移(传递)概率实际上是一个转移概率矩阵，称为信道矩阵。常用它来表示信道特性。 信道矩阵 若行表示输入X，列表示输出Y，信道矩阵为n行m列矩阵。 也可用p(xi/yj)反信道转移概率构造的反信道矩阵描述信道两端的相互依赖关系。 信息传输率R与信息传输速率Rt R定义为：信道中平均每个符号所能传送的信息量。单位为比特/符号。 如果平均传输一个符号为t秒，则信道每秒平均传输的信息量Rt（单位：比特/秒），一般称为信息传输速率。 信道容量的定义 定义：信道容量为平均互信息的最大值。 平均互信息I(X;Y)是输入变量X概率分布p(x)的上凸函数。 信道容量的概念 信道容量C仅与信道的统计特性有关，与信源分布无关。 平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数，所以存在一个使特定信道的信息量达到极大值信道容量C的信源。 信道容量表征信道传送信息的最大能力。 信道容量与信息传输速率 信道容量C实际上是某一个固定信道的最大的信息传输速率。 如果平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量Ct（单位：比特/秒）为： 3.2.2 几种特殊离散信道的信道容量 一、离散无噪信道的信道容量 离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类： 损失熵H(X/Y)与噪声熵H(Y/X) H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于