信道与信道容量 信息论与编码 技术方案.pptVIP

方法二 准对称信道：信道的输出集合可以划分为若干个不相等的且具有对称信道性质的子集合。 所以，可以将转移概率矩阵划分成若干个互不相交的对称的子集。 其中，n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数 对于离散单符号、准对称信道，仅当信道输入为等概率分布时，互信息达到最大值，即达到信道容量C。 Eg. 求信道容量 3.2.4 一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的I 即：当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。 该结论只是给出了达到信道容量时输入符号概率的充要条件，并未给出具体的计算方法。 此时必有：n=m，则概率转移矩阵是一个单位矩阵，且H(Y|X)=H(X|Y)=0 ， I(X;Y)=H(X)=H(Y)。此时当输入符号等概率分布时，信道传输的互信息量达到信道容量C=H(X)=H(Y)。 信道输入符 号集符号数 b1 a3 a2 a1 1 1 1 b2 a6 a5 a4 1 1 1 多个输入变成一个输出 2. X与Y具有多个输入对应一个输出(确定)函数关系的无噪、有损信道。此时，nm，噪声熵H(Y|X) =0，信道疑义度H(X|Y) ≠ 0，H(X) ≥ H(Y)，所以信道容量C=max H(Y) 。 每行只有一个非零元素， 信道输出符 号集符号数 a1 b1 b2 b3 p11 p12 p13 a2 b4 b4 b4 p24 p25 p26 一个输入对应多个输出 3. X与Y具有一个输入对应多个输出(不确定)的函数关系的有噪、无损信道。此时，每个输入对应的输出不重合，即nm。由于信道噪音的存在，同一个输入可能对应了多个输出。则信道疑义度H(X|Y)=0，噪声熵H(Y|X) ≠ 0，H(X) ≤ H(Y)，所以信道容量C=max H(X) 。 每列只有一个非零元素： 信道输入符 号集符号数 小节 X、Y一一对应 C＝maxI(X;Y)＝log n 多个输入变成一个输出 C＝maxI(X;Y)＝maxH(Y) ＝log m 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) ＝log n 3.2.2 对称DMC信道 在DMC信道中，最简单的就是对称信道。 如果转移概率矩阵P的每一行都是第一行(或其他任意一行)的置换(即：包含同样元素)，称该矩阵是输入对称的； 如果转移概率矩阵P的每一列都是第一列(其他任意一列)的置换(即：包含同样元素)，称该矩阵是输出对称的； 如果输入、输出都对称，则称该DMC为对称的DMC信道。 对称DMC信道 输入对称 H(Y|ai) = 对于特定信道， H(Y|xi)=H(Y|X)，是一个常数！ 是一个常数 输出对称 如果输入符号等概率分布，则：输出符号也是等概率分别！！ 反之也成立。 对称信道的信道容量(P50) 由于：输出符号等概率分布则信宿熵最大， Eg1. 求信道容量 理解：数学定义H的含义：针对一组概率分布的数值（满足非负性、完备性），计算加权的负对数的和。 因此，H的数学定义既可以针对信源的符号概率分布空间，也可以针对信道的转移概率！！！ Eg2. 求信道容量 信道输入符号和输出符号的个数相同，都为n；且正确的传输概率为1－?，错误概率?被对称地均分给n-1个输出符号。此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。 强对称信道 行：同一集合 列：同一集合 对称与强对称信道的区别 1. 强：n=m 对：n=m ? 2. 强：行元素集合与 列元素集合相等 对：？ 3. 强：行∑ =1，列∑ =1 对：行∑ =1，列：？ 4. 强：对称 对：？ 二进制对称信道容量 在对称信道中，如果n=2，即为二进制对称信道。(参见：教材P51) C＝1－H(?) 串联信道 实际通信系统中，信号往往要经过连续多个信道传输，或者连续多步的数据处理过程。 可以把多个阶段看成一个串联信道。 串联信道同样满足信息不增性定理。 C(1，2)=max I(X;Z) C(1，2，3)=max I(X;W) 信息不增性：串接的信道越多，信道容量可能会越小；当串接信道数量趋于无穷大时，信道容量可能趋于0。 例3－3：设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下