信息论基础第十一周.pptVIP

第四章 数据可靠传输和信道编码  一、离散无记忆信道和信道容量 信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。 什么是信道？ 信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 1、信道的数学模型和分类 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道 信道的一般数学模型如图4.1.1所示 数学模型的数学符号表示 {X P(Y/X) Y} 实际信道带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。 (2) 信道的分类 ① 根据输入输出随机信号的特点分类 ② 根据输入输出随机变量个数的多少分类 ③ 根据输入输出个数分类 ④ 根据信道上有无干扰分类 ⑤ 根据信道有无记忆特性分类 ② 根据输入输出随机变量个数的多少分类 单符号信道：输入和输出端都只用一个随机变量来表示。 多符号信道：输入和输出端用随机变量序列/随机矢量来表示。 ③ 根据输入输出个数分类 单用户信道：只有一个输入和一个输出的信道。 多用户信道：有多个输入和多个输出的信道。 ④ 根据信道上有无干扰分类 有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。 无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。 ⑤ 根据信道有无记忆特性分类 无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。 有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。 (3) 实际的信道 实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。 一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。 2、单符号离散信道的信道容量 1）信道容量定义 2）几种特殊离散信道的信道容量 1）信道容量定义 (1) 单符号离散信道的数学模型 (2) 信息传输率 (3) 信道容量 (4) 结论 (1) 单符号离散信道的数学模型 ② 信道统计特性 信道统计特性描述：由信道转移概率描述。 信道转移概率/信道传递概率：条件概率p(yj /xi)。 信道特性表示：用信道转移概率矩阵，简称信道矩阵。 反信道矩阵：由条件概率p(xi /yj)表示。 (2) 信道的信息传输率 如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。 信道的信息传输率：就是平均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。 I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj /xi)的二元函数： (3) 信道容量 当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。 调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。 信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为 Ct实际是信道的最大信息传输速率。 (4) 结 论 C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 2）几种特殊离散信道的信道容量 (1) 离散无噪信道的信道容量 (2) 强对称离散信道的信道容量 (3) 对称离散信道的信道容量 (4) 准对称离散信道的信道容量 (1) 离散无噪信道的信道容量 ① 具有一一对应关系的无噪信道 ② 具有扩展性能的无噪信道 ③ 具有归并性能的无噪信道 ④ 结论 ① 具有一一对应关系的无噪信道 这种信道如图4.2.2所示 对应的信道矩阵是 因为信道矩阵中所有元素均是“1”或“0”，X