即离散无记忆N次扩展信道的信道容量.PPT

信息论 电子信息工程学院 电子信息工程学院 沈阳航空航天大学 电子信息工程学院 信息论 前面讨论了最简单的离散信道，即信道的输入和输出都只是单个随机变量的信道。然而一般离散信道的输入和输出却是一系列时间(或空间)离散的随机变量，即为随机序列。本节讨论多符号离散信道的数学模型。 3.4离散无记忆扩展信道及其信道容量 多符号离散信道的定义： 若多符号离散信源 在N个不同的时刻分别通过单符号离散信道，则在输出端输出随机矢量 。于是形成一个新的信道，称为多符号离散信道。 3.6离散无记忆扩展信道及其信道容量 我们也可以把这种信道称之为单符号离散信道的N次扩展 信道。多符号离散信道（单符号离散信道的N次扩展信道）的数学模型仍用概率空间来描述。其数学模型如图所示。 多符号离散信道的数学模型 3.6离散无记忆扩展信道及其信道容量 3.6离散无记忆扩展信道及其信道容量 与单符号离散信道相比，N次扩展信道的输入符号数由r种扩展为 种；输出符号数由s种扩展为 3.6离散无记忆扩展信道及其信道容量 它表示在输入消息 的条件下，输出消 息 的传递概率 构成N次扩展信道的传递矩阵 且满足 3.6离散无记忆扩展信道及其信道容量 对应的信道转移概率矩阵为 若N次扩展信道的传递概率等于N个时刻单符号离散信道的传递概率的连乘 即 则单符号离散信道称为离散无记忆信道，相应的N次扩展信道称为离散无记忆信道的N次扩展信道。 3.6离散无记忆扩展信道及其信道容量 例 已知单符号信道的转移矩阵为 则该BSC信道的二次扩展无记忆信道的转移矩阵为 计算它们的信道容量，并比较结果。 3.6离散无记忆扩展信道及其信道容量 结论：二次扩展无记忆信道的信道容量正好是单符号信道的信道容量的2倍。此结论是否具有一般性？ 即离散无记忆N次扩展信道的信道容量： 注意单位！ 容易看出，上述信道均为对称信道，容易计算求得。 二次扩展信道： 单符号信道： 假设 ，可以求得： 解： 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 对于多符号离散信道来说，就会产生这样一个问题：从总体上看，离散无记忆信道的N次扩展信道在把输入随机矢量传输为输出随机矢量的过程中，传递的平均互信息量: 与其中各随机变量的平均互信息之和 之间有什么关系？这是本节要讨论的问题。 3.6离散无记忆扩展信道及其信道容量 在一般离散信道中，关于传输长为N的随机序列所获得的平均信息量，有下述两个定理。 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 定理3.5 若信道的输入随机序列为X，通过信道传输，接收到的随机序列为Y。假若信道是无记忆的，即信道转移概率满足 或写成 则存在 式中 和 是随机序列X和Y中对应的第i位随机变量。 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 定理3.6 若信道的输入随机序列为X，通过信道传输，接收到的随机序列为Y，而信道的传递概率为 ，假若信源是无记忆的，则存在 上述两个定理说明了离散信道中随机矢量的平均互信息与其中各随机变量的平均互信息之和之间的关系。 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 从定理3.5和定理3.6可知，若信源与信道都是无记忆的，则两定理结论同时满足，即它们的等式成立： 对于离散无记忆信道的N次扩展信道来说，若信源也是无记忆的话，则有 此式说明当信源是无记忆时，无记忆的N次扩展信道的平均互信息等于原来信道的平均互信息的N倍。 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 离散无记忆的N次扩展信道的信道容量等于原单符号离散信道的信道容量的N倍 。且只有当输入信源是无记忆的及每一输入变量的分布各自达到最佳分布时，才能达到这个信道容量NC。 一般情况下，信息序列在离散无记忆的N次扩展信道中传输的信息量为 3.6离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 *