多符号离散信道演示文件修改版.pptVIP

* * 正如信源一样，在实际信道中，信道的输入与输出都是一个有限的消息序列，而不是简单的单个消息符号。 3.3 多符号离散信道 3.3.1 多符号离散(扩展)信道的数学模型 P(Y/X) 多符号离散信道相当于单符号离散信道在N个不同时刻连续运用了N次，所以也称为单符号离散信道的N次扩展信道。 图3.3.1 多符号离散（扩展）信道的数学模型 多符号离散信道的信道矩阵 输入符号共有nN个不同元素 输出符号共有mN个不同元素 一、离散无记忆信道的信道容量 3.3.2 离散无记忆信道和独立并联信道的信道容量 1. 定义 离散信道在k时刻输出随机变量Yk，只与k时刻的输入随机变量Xk有关，而与k时刻之前的输入随机变量X1X2 , …, Xk-1和输出随机变量Y1,Y2, …,Yk-1无关—无记忆信道。 如果多符号离散信道的转移概率满足： 或 其中 则称这个多符号离散信道为离散无记忆信道的N次扩展信道，此单符号离散信道称为离散无记忆信道。离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。离散无记忆信道的N次扩展信道的输出随机变量Yk只与对应时刻的输入随机变量Xk有关。 (3.3.2) 【例3.3.1】信道转移概率如图所示，求二元无记忆对称信道(BSC)的二次扩展信道。 解：单符号BSC的输入输 出符号集合分别为： X={a1,a2}, Y={b1,b2} 则其二次扩展信道的输入输出符号集合分别为： X2={a1,a2,a3,a4}={a1a1, a1a2, a2a1, a2a2} Y2={b1,b2,b3,b4}={b1b1, b1b2, b2b1, b2b2} 信道转移概率矩阵为： a1 a2 b1 b2 依次类推，得其二次扩展信道的转移概率矩阵为： 由(3.3.2)式求得信道转移概率为： X2={a1,a2,a3,a4}={a1a1, a1a2, a2a1, a2a2} Y2={b1,b2,b3,b4}={b1b1, b1b2, b2b1, b2b2} 2. 扩展信道的平均互信息和信道容量 定理1 信源发出的N次随机变量序列 X N=X1X2…XN，通过信道传送，输出随机变量序列 Y N=Y1Y2…YN。如信道无记忆，即信道传递概率满足 则存在 证明：离散无记忆信道的N次扩展信道的平均互信息 因为信道无记忆，所以 证明见书85页 故有 且 由平均互信息公式有： 式(3.3.8)说明，离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量 X1X2…XN单独通过信道的平均互信息之和 。 定理2 信源发出的N次随机变量序列X N=X1X2…XN，通过信道传送，输出随机变量序列Y N=Y1Y2…YN。如信源无记忆，则有 则 两个或两个以上条件下的熵小于一个条件下的条件熵。 证明：因为信源无记忆，故有 因此如信源无记忆，则有 推论：信源发出的N次随机变量序列 X N=X1X2…XN，通过信道传送，输出随机变量序列 Y N=Y1Y2…YN。如信道、信源均无记忆，则有 证明：信道、信源均无记忆，则(3.3.8)、(3.3.9)式同时取等号，故有 因为信源无记忆，则X N=X1X2…XN中各Xk独立分布，记为X；同理可推出Y N也同分布，记为Y。故有 式（3.3.14）说明，离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道的平均互信息的N倍。 3. N次扩展信道的信道容量 C及CN分别表示单符号离散无记忆信道和N次扩展信道的容量。因为信道容量是信道的固有参数，所以对同一信道，所有Ck均相同，都等于单符号的信道容量C。 因为 所以 二．独立并联信道的信道容量 P(Y1/X1) P(Y2/X2) Y1 在这N个独立并联信道中，每一个信道的输出Yk只与本信道的输入Xk有关，与其他信道的输入、输出无关。那么，这N个信道的联合传递概率满足 : 独立并联信道的数学模型： P(YN/XN) X1 X2 XN Y2 YN 信道1 信道2 ┇ 相当于信道无记忆时应满足的条件。因此有 即联合平均互信息不大于各自信道的平均互信息之和。如果用CN表示N个独立并联信道的容量，Ck表示第k个单符号离散无记忆信道的信道容量，则有 当N个输入随机变量之间统计独立，且每个输入随机变量Xk的概率分布达到各自信道容量Ck的最佳分布时，CN达到其最大值，即 故N个独立并联信道的信道容量CN等于各信道容量Ck之和。 【例3.3.2】已知单符号信道的转移矩阵如下，求二元无记忆对称信道(BSC)的二次扩展信道的信道容量。 解： 二元无记忆对称信道(