第章信道与信道容量要点分析.ppt

* 3.2离散单个符号信道及其容量 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道，例： * 3.2离散单个符号信道及其容量 准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量： 证明： * 3.2离散单个符号信道及其容量 Eg. 求信道容量 方法一： 信道的输入符号有两个，可设p(a1)＝?，p(a2)＝1－?信道的输出符号有三个，用b1、b2、b3表示， 由 得到联合概率矩阵： * 3.2离散单个符号信道及其容量 Eg. 求信道容量 方法一（续）：由 * 3.2离散单个符号信道及其容量 Eg. 求信道容量 方法一（续）：由 得 求得α=1/2， * 3.2离散单个符号信道及其容量 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 方法二： 将转移概率矩阵划分成若干个互不相交的对称的子集，输入分布为等概率时，信道容量 n为输入符号集中符号的个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数； * 3.2离散单个符号信道及其容量 方法二（续） * 3.2离散单个符号信道及其容量 Eg. 求信道容量 解：首先将P1分解成若干不相交的对称子集，如何分？ * 3.2离散单个符号信道及其容量 一般DMC信道 以输入信号概率矢量Px求函数I(Px)的最大值（信道容量），可以看作是规划问题，最常用的方法是： 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法。I(X;Y)最大化的充要条件为： I(ai;Y) = C 对于所有满足p(ai ) 0条件的i I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的i 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只有概率为零的符号除外； * 3.2离散单个符号信道及其容量 一般DMC信道 参考文献： [1] S. Arimoto, “An algorithm for calculating the capacity of an arbitary discrete memoryless channel,” IEEE Trans. Inform. Theory, vol. 18, pp. 14–20, 1972. [2] R. E. Blahut. Computation of channel capacity and rate distortion function. IEEE Trans. Inform. Theory, IT-18:460-473, 1972. * 3.3离散序列信道及其容量 离散序列信道 信道 p(Y/X) Y X X=(X1X2…XL) Xl?{a1,a2,…,an} Y=(Y1Y2…YL) Yl ?{b1,b2,…,bm} * 3.3离散序列信道及其容量 离散无记忆序列信道，信道转移概率为： 1 1 1 1 1 进一步信道是平稳的 * 3.3离散序列信道及其容量 离散无记忆序列信道 1 1 1 1 1 如果信道无记忆 如果输入矢量X中的各个分量相互独立 当信道平稳时CL=LC1，一般情况下，I(X;Y) ? LC1 如果信道无记忆且矢量X中的各分量独立 * 3.3离散序列信道及其容量 1 1 1 1 1 BSC的二次扩展信道 X?{00,01,10,11}，Y?{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2 00 10 11 01 00 01 10 11 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 * 3.3离散序列信道及其容量 扩展信道 1 1 1 1 若p＝0.1，则C2＝2－0.938＝1.062比特/序列 p＝0.1时BSC单符号信道的容量C1＝1－H(0.1)＝0.531比特/序列，为C2的1/2. 作业：3-1,3-2（P.68-69） *