第10讲——信道与信道容量.ppt

信道与信道容量(第四章） 第十讲 设信道的输入 输出 信道转移概率矩阵 ： 描述输入和输出的统计依赖关系 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0|0) = 1-p p(1|1) = 1-p p(0|1) = p p(1|0) = p 输入符号X取值{0,1} 输出符号Y取值{0,1,2} 转移矩阵 证：首先证明充分性。 设函数f在?点满足KT条件，今证明 为极大值，即对任意 ，恒有 。 由于f是凸∩函数，所以 ? f (?)＋(1－? ) f (?)≤f [? ?＋(1－? )?] 0＜? ＜1 即 f (?)－f (?)≤{f [? ?＋(1－? )?]－f (?)}/? 0＜?＜1 由KT条件有 将其代入上式得 从而证明 为极大值。 现在证明必要性。令 使f 达到极大值，并假定偏导数在 处连续。则对任意 ,有 式中0＜?＜1。 以θ除两边并令θ→0 得 即 因 为是概率矢量，所以至少有一个分量，例如?i是严格正的，即?i0。 选择另一概率矢量?满足 式中 。 于是有 对于 也可选负值和正数，有 和 即 无噪有损信道 多个输入变成一个输出(n＞m) 例：二元对称信道（BSC） 定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 ：关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则 准对称信道特点 根据概率归一性， 此时 ，即输出等概分布 定理3 对于准对称DMC信道 （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为 准对称信道容量特点 最佳输入分布为等概分布 若信道为准对称，则当输入等概时，有 子集Ys中相应子阵的列是可置换的，所以，对 此子阵中的每一个输出j，概率 证明： 准对称信道容量特点 准对称，可将可将Y划分为一些子集Ys 都相等， 又在同一个子阵中，各行又都是第1行的置换，所以 满足了K-T条件，从而证明输入等概情况下达到信道容量。 准对称信道容量特点 准对称DMC信道 准对称信道容量计算公式 对称DMC信道 0 1 0 1 p p 1-p 1-p 比特/符号 * * 信道：传输信息的通道或媒质 在通信中，信道按其物理组成被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律。 信息论关注信息通过有扰信道的传输问题。用数学方法研究信息在信道中传输的规律，因此我们首先需要确定信道的数学模型。 信道的基本概念 信 道 X Y p(Y|X) 信道数学模型 X p(Y|X) Y 按信道的输入和输出在幅度和时间上的取值 时间离散的离散信道（离散信道） 时间离散的连续信道（连续信道） 时间连续的离散信道 时间连续的连续信道（波形信道） 信道分类 按输入输出之间关系的记忆性来划分： 无记忆信道 信道的输出只与信道该时刻的输入有关,而与其它 时刻的输入无关 有无记忆信道 信道的输出不但与信道现在时刻的输入有关，而且 还与以前时刻的输入有关 信道分类 按输入输出信号之间的关系是否是确定关系 无干扰信道： 输入和输出符号之间有确定的一一对应关系 有干扰信道： 输入和输出之间关系是一种统计依存的关系 输入和输出的统计特性： 恒参信道和随参信道 对称信道和非对称信道 信道分类 离散无记忆信道 信道转移矩阵 0 1 0 1 p p 1-p 1-p 无错误传输的概率 传输发生错误的概率 二元对称信道（BSC） 0 2 1 0 1 1-p p 1-p p 二元删除信道（BEC） p(0|0) = 1-p p(0|1) = 0 p(2|0) = p p(2|1) = p p(1|0) = 0 p(1|1) = 1-p 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率 平均互信息I (X;Y) 接收到符号Y后平均每个符号获得的关于X的信息量。 信道容量 信道容量 给定转移概率P后,平均互信息I(X;Y)是输入信源的