信息论信道编码第三讲.pptVIP

第三章 信道与信道容量 内容 3.1 信道分类和表示参数 信道模型 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 信道转移概率矩阵p(Y|X)： 描述输入/输出的统计依赖关系,反映信道统计关系 无噪声信道 无噪信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率: 有干扰无记忆信道 有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足: 离散无记忆信道DMC 信道输入是n元符号X∈{a1, a2, …, an} 信道输出是m元符号Y∈{b1, b2, …, bm} 转移矩阵 已知X,输出Y统计特性 信道容量的计算 对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道： 离散信道可分成： 无干扰(无噪)信道 无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道 无干扰离散信道 无嗓无损信道 3.2.1 对称DMC信道 对称离散信道： 对称性: 每一行都是由同一集{p1, p2,…pm} 的诸元素不同排列组成——输入对称 每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称 对称DMC信道 信道矩阵 对称DMC信道 若输入符号和输出符号个数相同,都等于n,且信道矩阵为 对称DMC信道 对称离散信道的平均互信息为 对称DMC信道 对称DMC信道的容量： BSC信道容量 设二进制对称信道的输入概率空间 信道矩阵： BSC信道容量 当p固定时,I (X,Y) 是ω的 型上凸函数。 BSC信道容量 信道容量 定理： 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。 BSC信道容量 例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1 求:信道容量 串联信道 例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为: 串联信道 求得: 串联信道 由信息不增原理 3.2.3 准对称DMC信道 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。 准对称信道的信道容量 准对称信道 准对称信道的信道容量 例：设信道传递矩阵为 3.2.4 一般DMC信道 定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足: I (ai;Y) = C 对于所有ai其p(ai)＞0 I (ai;Y) ≤C 对于所有ai其p(ai) = 0 离散序列信道及容量 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为 离散序列信道及容量 若信源与信道都是无记忆的 例3-7.BSC信道二次扩展 独立并联信道 设有L个信道,它们的输入、输出分别是： X1,X2…XL； Y1,Y2…YL 连续信道及其容量 连续信道的容量不容易计算。 当信道为加性连续信道时,情况简单一些。 设信道的输入和输出信号是随机过程x(t) 和y(t) y(t) = x(t) + n(t) 连续信道及其容量 高斯白噪声加性信道单位时间的信道容量 有嗓无损信道 无嗓有损信道 满足对称性,所对应的信道是对称离散信道。 不具有对称性,因而所对应的信通不是对称离散信道。 此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1, p2,…pm }和输出符号集的个数m有关。 强对称信道的信道容量： I(XY) ω BSC信道容量 1-H(p) I (X,Y) 对ω存在一个极大值。 p C 当固定信源的概率分布ω时,I (X,Y) 是p的 型 下凸函数。 信道无噪声 当p = 0, C =1－0 = 1bit = H(X) 当p =1/2, 信道强噪声 BSC信道容量 定理： 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。 信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。 当信源输入符号的速率为rs(符/秒),信道容量