信息论及其容量原理.pptVIP

信道及其容量 信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。 信道定义：传输信息的媒介或通道。信道也可以看作一种变换，把输入变换成输出。 信道的随机性：由于干扰和噪声的存在，变换是随机（概率）的。 信道的描述：用条件转移概率表示。 信道及其容量 1 信道的数学模型和分类 2 单符号离散信道的信道容量 3 离散无记忆扩展信道 4 多用户信道 5 连续信道 6 信道编码定理 7 小结 1 信道的数学模型和分类 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道 1 信道的数学模型和分类 (1) 一般信道的数学模型 ① 信道的广义性 ② 一般信道的数学模型 1 信道的数学模型和分类 (1) 一般信道的数学模型 ① 信道的广义性 信息论把任何一个有输入、输出的系统都可以看成是一个信道（物理信道多种多样：简单：滤波器；复杂：国际通信线路）。 信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真。 信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。 知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。 1 信道的数学模型和分类 (1) 一般信道的数学模型 ② 一般信道的数学模型 信息论对信道的研究：对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。 信道模型：不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。 1 信道的数学模型和分类 (1) 一般信道的数学模型 ② 一般信道的数学模型 一般，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。 数学模型的数学符号表示： {X P(Y/X) Y} 1 信道的数学模型和分类 (2) 信道的分类 ① 根据输入输出随机信号的特点分类 ② 根据输入输出随机变量个数的多少分类 ③ 根据输入输出个数分类 ④ 根据信道上有无干扰分类 ⑤ 根据信道有无记忆特性分类 1 信道的数学模型和分类 (2) 信道的分类 ① 根据输入输出随机信号的特点分类 离散信道：输入和输出的随机序列的取值都是离散的信道。 连续信道：输入和输出的随机序列的取值都是连续的信道。 半离散／半连续信道：输入变量取离散值而输出变量取连续值，或反之. 波形信道：信道的输入和输出都是一些时间上连续的随机信号 {x(t)} 和{y(t)}，即信号输入和输出的随机变量是连续的，并且还随时间连续变化。一般可用随机过程来描述其输入和输出。波形信道可分解成离散信道、连续信道或半离散信道来研究。 1 信道的数学模型和分类 (2) 信道的分类 ② 根据输入输出随机变量个数的多少分类 单符号信道：输入和输出端都只用一个随机变量来表示。 离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量序列（随机矢量）来表示。 ③ 根据输入输出个数分类 单用户信道：只有一个输入和一个输出的信道。 多用户信道：有多个输入和多个输出的信道。 单符号与单用户的区别，不要搞混! 1 信道的数学模型和分类 (2) 信道的分类 ④ 根据信道上有无干扰分类 有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。 无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。 ⑤ 根据信道有无记忆特性分类 无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。 有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。 1 信道的数学模型和分类 (3) 实际的信道 实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。 一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。 2 单符号离散信道的信道容量 2.1 信道容量定义 2.2 几种特殊离散信道的信道容量 2.3 离散信道容量的一般计算方法 2.1 信道容量定义 (1) 单符号离散信道的数学模型 (2) 信道的信息传输率 (3) 信道容量 (4) 结论 2.1 信道容量定义 (1) 单符号离散信道的数学模型 ① 信道模型 ② 信道统计特性 2.1 信道容量定义 (1) 单符号离散信道的数学模型 ① 信道模型 设输入：X∈{x1,x2,…,xi,…,xn} 输出：Y∈{y1,y2,…,yj,…,ym} 其信道模型： 2.1 信道容量定义 (1) 单符号离散信道的数学模型 ① 信道模型 用线图描述： 2.1