-第章-信道模型信道容量.pptVIP

第3章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3　多符号离散信道 3.4　多用户信道 3.5　连续信道 3.6　信道编码定理 3.1　信道的数学模型和分类 信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。X与Y之间是统计依赖关系。 信道的数学模型：{X P(y/x) Y} 信道的分类１－按时间特性 根据输入输出事件的时间特性和集合的特点： 离散信道：输入离散，输出离散 连续信道：输入连续，输出连续 半连续信道：输入和输出一个离散一个连续 时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列 信道的分类２－按输入输出个数 根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只有一个事件集； 多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。 信道的分类３－按信道接入 根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。 信道的分类４－按统计特性 根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。 信道的分类５－按记忆特性 根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。 平均互信息 定义：原始信源熵与信道疑义度之差称为平均互信息 含义：接收到输出符号集Y以后，平均每个符号获得的关于X的信息量。 平均互信息量 平均互信息量等于X，Y的熵与它们的联合熵之差，即 I(X;Y)= H(X)+H(Y)—H(X,Y) 平均互信息量总大于或等于0，即 I(X;Y)=I(Y;X)≥0 X与X的平均互信息量等于X的熵，即 I(X;X)=H(X) 对于固定的信源分布，平均互信息量I(X;Y)是信道传递概率p(y/x)的下凸函数。 对于固定的信道，平均互信息I(X;Y)是输入信源的概率分布p(x) 的上凸函数。 例3.2.3 分析二元对称信道 考虑二元信道 例3.2.3固定二元对称信道的平均互信息 二元对称信道的平均互信息为： 定理：当信道固定，即 p 为一个固定常数时，可得出 I (X;Y )是信源分布 w 的上凸函数，如下图所示（固定二元对称信道的平均互信息） 例3.2.3固定二元对称信道的平均互信息 图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。 当输入符号为等概率分布时，即 平均互信息量 I (X;Y )为最大值，这时，接收每个符号所获得的信息量最大。 该定理是研究信道容量的基础。 例3.2.3固定二元对称信道的平均互信息 图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。 当输入符号为等概率分布时，即 平均互信息量 I (X;Y )为最大值，这时，接收每个符号所获得的信息量最大。 该定理是研究信道容量的基础。 例3.2.3固定信源分布时的平均互信息 二元对称信道的平均互信息为 定理：当固定信源的概率分布 w 时，则平均互信息 I (X;Y) 是信道特性 p 的下凸函数，如下图所示： 例3.2.3固定信源分布时的平均互信息 从上图可知，当二元信源固定后，改变信道特性 p 可获得不同的平均互信息I ( X;Y ) 。 当 p = 1/2 时，I ( X;Y ) = 0，即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。 该定理是信息率失真论的基础。 第3章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3　多符号离散信道 3.4　多用户信道 3.5　连续信道 3.6　信道编码定理 信道容量的定义 定义：信道容量为平均互信息的最大值 其单位是比特/符号或奈特/符号。 平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。 对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息 I(X;Y)最大，而相应的概率分布 p (x) 称为最佳输入分布。 信道容量的概念 信道容量C仅与信道的统计特性有关，与信源分布无关。 I (X;Y ) 的值是由信道传递概率