信息论与编码zjh201209zjh第三章1.ppt

3.2.4 一般 DMC 信道 ? 定理： ? 一般离散信道的平均互信息 I(X;Y) 达到极大值 的充分和必要条件是输入概率 { p ( a i )} 必须满足 : I ( a i ;Y) = C 对于所有 a i 其 p ( a i ) ＞ 0 ? 上式说明： – 当信道的平均互信息 I(X;Y) 达到信道容量时 , 输入符号概率集 { p ( a i )} 中每一个符号 a i 对输出 端 Y 提供相同的互信息 , 只是概率为 0 的除外。 31 I ( a i ;Y) ≤C 对于所有 a i 其 p ( a i ) = 0 2020/5/7 第三章 信道与信道容量 信道是通信系统中的重要部分，是传输信息的载体，其 任务是以信号方式传输信息、存储信息。因而研究信道 就是研究信道中理论上能够传输或存储的最大信息量， 及信道容量问题。 2020/5/7 1 内容 3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配 2020/5/7 2 3.1 信道的基本概念 研究信道容量主要考虑信道中干扰的影响，由于信 道中存在的干扰使输出信号与输入信号之间没有固 定的函数关系，只有统计依赖关系，因此可以通过 研究分析输入输出信号的统计特性来研究信道。 2020/5/7 3 3.1.1 信道的分类 （ 1 ）根据用户数量可分为 单用户信道：一个输入端 , 一个输出端 , 单向通信信道。 多用户信道：双向通信，三个或更多个用户之间相互通信 的情况。 （ 2 ）根据输入端与输出端的关系可分为 无反馈信道：输出端信号不反馈到输入端，输出信号对输 入信号没有影响。 反馈信道：输出信号通过一定途径反馈到输入端，致使输 入端的信号发生变化。 （ 3 ）根据信道的统计特性是否随时间变化分为： 固定参数信道：信道的统计特性不随时间变化。光纤、电 缆信道。 时变参数信道：信道的统计特性随时间变化。无线电信道 的参数会因天气、周围环境的变化而发生较大变化。 2020/5/7 4 （ 4 ）根据信道中所受噪声种类可分为： 随机差错信道：噪声独立随机的影响每个传输码元，如以高 斯白噪声为主体的信道。 突发差错信道：噪声、干扰的前后影响是前后相关的，错误 也是成串出现的。 （ 5 ）按输入 / 输出信号在幅度和时间上的取值 : 离散信道：输入和输出的随机序列取值都是离散的信道 连续信道：输入和输出的随机序列取值都是连续的信道 半离散 ( 半连续 ) 信道：输入变量取值离散而输出变量取值连续 或输入变量取值连续而输出变量取值离散 波形信道：信道的输入和输出都是一些时间上连续的随机信 号。 广义的信道可以指简单的一段线路，也可以指包含了设备 的复杂系统，即使在同一个通信系统中，也可以有不同的 划分，当然对不同的划分，信道信号呈现出不同的特点。 2020/5/7 5 3.1.2 信道参数 设信道的输入 X=( X 1 , X 2 … X i ,… ), X i ∈ { a 1 … a n } ， 输出 Y= ( Y 1 , Y 2 … Y j ,…), Y j ∈ { b 1 … b m } ，条件概率 p (Y|X) 描述输入 / 输出的统计依赖关系 , 在分析信道问 题时，该条件概率通常叫做转移概率。 p (Y|X) X 信 道 Y 2020/5/7 6 根据信道是否存在干扰以及有无记忆，可将信道分为： 1 ）无干扰 ( 无噪声 ) 信道 信道的输出信号 Y 与输入信号 X 之间有确定的 关系 Y= f (X), 已知 X 后就确知 Y 转移概率 : ? 1 , Y ? f( X ) p ( Y | X ) ? ? ? 0 , Y ? f( X ) 2 ）有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定的关系 , 但转 移概率满足 : p ( Y | X ) ? p ( y 1 | x 1 ) p ( y 2 | x 2 ) ? p ( y L | x L ) 每个输出信号只与当前输入信号之间有转移概率关系， 而与其他非该时刻的输入信号、输出信号都无关也就是 无记忆。 2020/5/7 7 由输入输出信号的符号数目（等于 2 、大于 2 还是趋于 ∞ ），又可 进一步区分出如下信道模型： （ 1 ）二进制离散信道 BSC 输入符号 X 取值 {0,1} ；输出符 号 Y 取值 {0,1} ，这是一种对称 的二进制输入、二进制输出信 道。所以叫做二进制对称信道 (binary symmetric channel ， BSC ），输出比特仅与对应的 一个输入比特有关，因而是无 记忆的。