第10讲——信道与信道容量2013b.pptVIP

信道及其容量(第四章）; 信道：传输信息的通道或媒质 在通信中，信道按其物理组成被分成微波信道、光纤信道、电缆信道等。 信号在这些信道中传输的过程遵循不同的物理规律。 信息论关注信息通过有扰信道的传输问题。用数学方法研究信息在信道中传输的规律，因此我们首先需要确定信道的数学模型。;设信道的输入 输出 信道转移概率矩阵 ： 描述输入和输出的统计依赖关系;按信道的输入和输出在幅度和时间上的取值 时间离散的离散信道（离散信道） 时间离散的连续信道（连续信道） 时间连续的离散信道 时间连续的连续信道（波形信道）;按输入输出之间关系的记忆性来划分： 无记忆信道 信道的输出只与信道该时刻的输入有关,而与其它 时刻的输入无关 有无记忆信道 信道的输出不但与信道现在时刻的输入有关，而且 还与以前时刻的输入有关;按输入输出信号之间的关系是否是确定关系 无干扰信道： 输入和输出符号之间有确定的一一对应关系 有干扰信道： 输入和输出之间关系是一种统计依存的关系 输入和输出的统计特性： 恒参信道和随参信道 对称信道和非对称信道;离散无记忆信道;输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0|0) = 1-p p(1|1) = 1-p p(0|1) = p p(1|0) = p;输入符号X取值{0,1} 输出符号Y取值{0,1,2} 信道转移概率;研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率 平均互信息I (X;Y) 接收到符号Y后平均每个符号获得的关于X的信息量。 ;;输入概率矢量;令;是; ;令;对于一般信道,信道容量计算相当复杂,数值解。 我们只讨论某些特殊类型的信道 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －(准)对称信道 －可逆矩阵信道;无噪无损信道 输入和输出符号之间有确定的一一对应关系;X;无噪有损信道 多个输入变成一个输出(K＞J);有噪无损信道 一个输入对应多个输出(K＜J);对称性: 若P的任一行是第一行的置换，则称信道是关于输入为对称的。 若P的任一列是第一列的置??，则称信道是关于输出为对称的。 若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。 ;不具有对称性;定理1 若DMC关于输入为对称的，则对任意k∈{0, 1, …, K-1};定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 ：关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则;定理3 对于准对称DMC信道 （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为;若信道为准对称，则当输入等概时，有; ;准对称DMC信道;例：二元对称信道（BSC） ; 对称信道 最佳输入分布为等概分布 当输入等概时，输出分布 也为等概 信道容量;0;例： 二元删除信道容量;它为准对称信道，;DMC的输入为X，X的所有事件为{0, 1, …, K-1}； DMC的噪声为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立；Y=X+Z (mod K)。 ;若记P(Z=z)=sz，则转移概率矩 阵为;假定所有输入字母的概率;令;对上面得到的解进行验证。;例 题;例 题;例 题;本节小结;作业