信息论第3章 信道与信道容量.ppt

第3章　信道与信道容量 3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4　连续信道及其容量 3.5　信源与信道的匹配 信道模型和信道容量 信道 传送信息的载体，信号通过的通道。 任务是以信号方式传输信息、存储信息。 研究信道就是研究信道中理论上能够传输或存储的最大信息量，即信道的容量问题。信息论不研究信号在信道中传输的物理过程。 信道研究方法 抽象地将信道问题归结为输入、输出和转移概率矩阵三个要素来描述。 信道分类 按信道的用户数量来划分 单用户信道：即只有一个输入端和一个输出端的单向通信信道。 多用户信道：即在输入端或输出端中至少有一端存在两个以上的用户，并且还可以双向通信的信道。 按输入/输出之间的关系来划分 无反馈信道：信道的输出端信号不反馈到输入端，即输出信号对输入信号没有影响。 反馈信道：信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。 信道分类 按信道参数与时间的关系来划分 固定参数信道：即信道的统计特性不随时间而变化，如光纤、电缆信道。 时变参数信道：即信道的统计特性随时间而变化，如无线信道。 按信道中的噪声种类来划分 随机差错信道：指噪声随机地影响每个传输码元，如以高斯白噪声为主体的信道。 突发差错信道：指噪声、干扰的影响是前后相关的，错误成串出现，如脉冲干扰或闪电等。 信道分类 按输入/输出信号在幅度和时间上的取值划分 离散信道：输入和输出的信号在时间和幅度上均为离散的信道。 连续信道：信号的幅度连续，时间离散。 半离散半连续信道： 输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅度上均连续，一般可用随机过程来描述。 信道模型 信道转移概率矩阵p(Y/X) 描述输入/输出的统计依赖关系，反映信道统计关系。 信道的输入　X=(X1, X2,…, Xi,…) 输入符号集：Xi={a1, a2,…, an} 信道的输出　 Y=(Y1,Y2,…,Yj,…) 输出符号集：Yj={b1, b2,…, bm} 根据干扰和记忆性分类 无干扰（无噪声）信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X) 有干扰无记忆信道 每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻的输入（出）信号无关。 有干扰有记忆信道 一般情况下，信道存在码间干扰，输入信号不但与当前输入信号有关，还与以前的输入信号有关。 将记忆很强的L个符号当作矢量符号，各矢量符号之间认为是无记忆的。 将转移概率看成马尔可夫链的形式。 信道模型 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p 　p(0/1) = p p(1/1) = 1－p p(1/0) = p 信道模型 离散无记忆信道：DMC信道 输入符号集：X={a1, a2,…, an} 输出符号集：Y={b1, b2,…, bm} 输入－输出特性 p(Y=bj /X=ai)≡ p(bj /ai)=pij 信道模型 离散输入、连续输出信道 输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞} 输出特性由离散输入X、连续输出Y以及一组条件概率密度函数 p( y /X=ai) 来决定。 加性高斯白噪声（AWGN）信道 式中，G是均值为零、方差为σ2的高斯随机变量 当X给定，Y是一个均值为ai、方差为σ2的高斯随机变量 信道模型 波形信道 输入是模拟波形，输出也是模拟波形 连续无记忆信道和连续有记忆信道 任一时刻输出变量与以前时刻的输入输出是否有关 根据噪声对信道中信号的作用不同，可将噪声分为：加性噪声和乘性噪声 假设输入该信道的带限信号x(t)，相应的输出是y(t)， n(t)代表加性噪声过程的一个样本函数，则y(t)＝ x(t)＋ n(t) 信道容量的定义 信道传输率R 信道中平均每个符号能传送的信息量 R＝I (X;Y) bit/符号 信息传输速率Rt 若平均传输一个符号所需时间为t 则　 Rt＝I (X;Y) / t bit /s 信道容量的定义 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。 概率矢量Px＝[p(a1), p(a2),… p(an)] 用I(Px)表示I是Px的函数，则在I(Px)曲线的上凸点对应的输入符号概率矢量Px上， I(Px)取得极大值。这个值就是信道容量。 信道容量的定义 信道容量 信道容量C的单位是信道上每传送一个符号所能携带的比特数，即比特/符号。 如果以e为底，即取自然对数时，信道容量的单位是奈特/符号。 如果已知符号传送周期是T 秒，