信息论信道容量.ppt

3.1 信道模型与分类 3.2 离散无记忆信道 3.3 离散无记忆扩展信道 3.4 连续信道 3.5 信道编码定理 第3章 信道容量 3.1 信道模型与分类 3.1.1 信道模型 3.1.2 信道的分类 P(Y/X) X Y 信道的数学模型： {X P(Y/X) Y} 3.1.1 信道模型 信道的分类 无干扰信道 有干扰信道 有干扰信道：存在干扰或噪声，或两者都有的信道。 无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。 3.1.2 信道的分类 信道的分类 有记忆信道 无记忆信道 有记忆信道：信道输出不仅与当前输入有关，还与过去输入和过去输出有关的信道。 无记忆信道：信道输出仅与当前输入有关，而与过去输入无关的信道。 信道的分类 单符号 信道 多符号 信道 单符号信道：输入和输出端都只用一个随机变量表示。 多符号信道：输入和输出端用随机变量序列或随机矢量来表示。 信道的分类 单用户信道 多用户信道 单用户信道：只有一个输入和一个输出的信道 多用户信道：有多个输入和多个输出的信道 信道的分类 连续信道 半离散信道 离散信道 离散信道：输入和输出随机变量都取离散值的信道 连续信道：输入和输出随机变量都取连续值的信道 半离散信道：输入变量取离散值而输出变量取连续值，或反之 3.2 离散无记忆信道 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 p(yj/xi) X Y 3.2.1 信道容量的定义 单符号离散信道的数学模型 信道转移概率矩阵： 信道容量 单位：比特/秒 3.2.2 几种特殊离散信道的容量 1. 简单离散信道的信道容量 （1）一一对应的无噪无损信道 xn yn x1 y1 x2 y2 …… x1 y1 x2 y2 xn-1 yn-1 xn yn …… X、Y一一对应 C＝maxI(X;Y)＝log n p(xi) x1 y1 y2 y3 （2）具有扩展性能的无损有噪信道 x2 y4 y5 y6 x3 y7 y8 此时，H(X/Y)=0，H(Y/X) 0， 且 H(X) H(Y)。 此时，C = max H(X) = log n p(xi) 一个输入对应多个输出 （3）具有归并性能的无噪有损信道 x1 y1 x2 x3 y2 x4 x5 y3 C = max H(Y) = log m p(xi) H(X/Y) ≠ 0，H(Y/X) = 0 多个输入变成一个输出 （1）离散对称信道的信道容量 矩阵中的每行都 是集合P = {p1, p2, ……, pn}中的诸元素的不同排列，称矩阵的行是可排列的。 矩阵中的每列都是集合Q = {q1, q2, ……,qm}中的诸元素的不同排列，称矩阵的列是可排列的。 2. 离散对称信道的信道容量 如果矩阵的行和列都是可排列的，称矩阵是可排列的。 如果一个信道矩阵具有可排列性，则它所表示的信道称为 对称信道 练习：判断下列矩阵表示的信道是否是对 称信道 相应的 对称离散信道的信道容量 n X n p：总体错误概率 （2）强对称信道的信道容量 相应的 强对称信道与对称信道比较： 强对称 对称 n=m n与m未必相等 矩阵对称 矩阵未必对称 P=Q P与Q未必相等 行之和，列之和均为1 行之和为1 （3）准对