信道容量的计算.docVIP

§4.2信道容量的计算 这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布求平均互信息的极大值。前面已知是输入概率分布的上凸函数，所以极大值一定存在。而是个变量的多元函数。并且满足。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数：解方程组 （4.2.1） 可以先解出达到极值的概率分布和拉格朗日乘子的值，然后在解出信道容量。因为 而，所以 。 解（4.2.1）式有 （对都成立） 又因为 所以(4.2.1)式方程组可以转化为 假设使得平均互信息达到极值的输入概率分布这样有 从而上式左边即为信道容量，得 现在令 式中，是输出端接收到Y后获得关于的信息量，即是信源符号对输出端Y平均提供的互信息。 一般来讲，值与有关。根据（4.2.2）式和（4.2.3）式， 所以对于一般离散信道有如下定理。 定理4.2.1 一般离散信道的平均互信息达到极大值（即等于信道容量）的充要条件是输入概率分布满足 对所有的 对所有的 这时C就是所求的信道容量。 对于离散信道来说，其实信道容量还有一个解法：迭代解法。 定理4.2.2 设信道的向前转移概率矩阵为，是任给的输入字母的一个初始概率分布，其所有分量。按照下式不断地对概率分布进行迭代，更新： 其中 由此所得的序列收敛于信道容量C。 我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1） 图4.2.1 信道容量的迭代算法 对于一些特殊的离散信道，我们有方便的方法计算其信道容量。 定义4.2.1 设X和Y分别表示输入信源与输出信源，则我们称为损失熵，为信道噪声熵。 如果信道的损失熵，则次信道容量为 （bit/符号）这里输入信源X的信源符号个数为。 如果信道的噪声熵，则此信道容量为 （bit/符号） 这里输出信源符Y的符号个数为s. 定义4.2.2 一个信道Q称为对称离散信道，如果它满足下面的性质： 信道Q矩阵中每一行是另一行的置换； 每一列式另一列的置换。 例如，信道矩阵 和 满足对称性，所以对应信道是对称离散信道。 定义4.2.3 对称离散信道的信道容量为 （bit/符号） 上式只与対称信道矩阵中行矢量和输出符号集的个数s有关。 证明 而 由于信道的对称性，所以与无关，为一常熟，即 接着举一个例子加以说明。 例4.2.1 某对称离散信倒的信道矩阵为 用公式计算信道容量 （bit/符号） 定义4.2.3 若信道矩阵Q的列可以划分成若干互不相交的子集矩阵，即且。由为列组成的矩阵是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。 例如，信道矩阵 都是准对称信道，在信道矩阵中，Y可以划分为三个子集，由子集的列组成的矩阵为 ， ， 它们满足对称性，所以对应的信道是准对称信道。同理可划分为 ， 这两个矩阵也满足对称性。 下面，我们给出准对称离散信道的信道容量计算公式 其中，是输入符号集的个数，为准对称信道矩阵中的行矢量。设矩阵可划分为个互不相交的子集。是第个子矩阵中行元素之和，是第个子矩阵中列元素之和，即 并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。 例4.2.2 设信道传递矩阵为 可表示成如图4.2