信息论与编码信道容量.ppt

第3章 信道容量 王永容 机械与电气工程学院 wangyr416@126.com 第3章 信道容量 3.1 信道基本概念 3.2 离散无记忆信道容量 3.3 组合信道的容量 3.4 连续无记忆信道的容量 3.5 波型信道的容量 3.1 信道基本概念 信道物理模型 输入消息X 输出消息Y 干扰 3.1 信道基本概念 信道分类 根据信道用户的多少 单用户信道 多用户信道 根据信道输入端与输出端的关系 无反馈信道 有反馈信道 根据信道的参数与时间的关系 固定参数信道 时变参数信道 3.1 信道基本概念 根据输入与输出 随机变量的取值分类 离散信道(数字信道: 时间、取值离散) 连续信道(模拟信道: 取值连续) 半连续信道( 时间、取值一个离散，另一个连续) 波形信道(时间、取值连续) 3.1 信道基本概念 信道模型 输入: 随机变量X (字母集为: A={a1, a2,…, an }) 输出: 随机变量Y (字母集为:B={b1, b2,…,bm }) 干扰: 条件概率(转移概率,信道矩阵) P(y | x) (x?A, y?B) 3.1 信道基本概念 3.1.2 DMC的信道容量 3.1.2 DMC的信道容量 第3章 信道容量 3.1 信道基本概念 3.2 离散无记忆信道容量 3.3 组合信道的容量 3.4 连续无记忆信道的容量 3.5 波型信道的容量 3.1 信道基本概念 信道中的信息量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 3.2 离散无记忆信道容量 第3章 信道容量 3.1 信道基本概念 3.2 离散无记忆信道容量 3.3 组合信道的容量 3.4 连续无记忆信道的容量 3.5 波型信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 3.3 组合信道的容量 离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布{p(xi)}，求平均互信息的极大值。采用拉格朗日乘子法来计算。 (1) 两边乘p(ai)，并求和，则有： (2) 将（2）代入（1），则有： （3） （4） 则（3）变为： （5） （6） （7） （8） （9） 总结C的求法，过程如下： 例：信道矩阵如下，求C。 1 2 3 4 已知两个信道 P1 =(X1, P(Y1|X1), Y1)与P2 =(X2, P(Y2|X2), Y2)相互独立,信道容量分别为C1和 C2. X1 Y1 信道1 P(Y1/X1) X2 Y2 信道2 P(Y2/X2) 并行信道(积信道) 信道P1 与P2的并行信道定义如下： P1? P2 = (X1 ?X2, P(y1, y2 | x1, x2), Y1?Y2), 其中 P(y1, y2|x1,x2)=P(y1|x1)?P(y2|x2). 信道容量 C= C1+ C2. X1 Y1 信道1 P(y1/x1) X2 Y2 信道2 P(y2/x2) 信道容量 而 所以 等号成立当且仅当X1与X2相互独立时 * 信息论与编码 Information and Coding Theory X Y 信道 干扰 X Y P(y/x) 信道 干扰 离散无记忆信道(DMC: discrete memoryless channel) 输入随机变量X的取值空间A={a1, a2,…, an} X的概率分布: Qi=P{X= ai } (ai?A) 输出随机变量Y的取值空间B={b1, b2,…,bm } 任给输入序列x=(x1, x2,…,xN)，设输出序列为y=(y1, y2,…,yN)，则转移概率 P(y|x)=P(y1, y2,…,yN | x1, x2,…,xN). 定义3.1.1. DMC记为: (X, P(Y|X),Y ) 平稳DMC的信道转移