3.2 单符号离散信道及信道容量.pptVIP

第3章 信道容量 本章主要内容 3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4连续信道及其容量 3.6信道编码定理 3.2 单符号离散信道 单符号离散信道的信道模型 设输入端信源符号集合为： 输出端信宿符号集合为： 信道转移概率为：令 信道模型如图所示 Def：输入输出都取值于离散符号集合，且都用一个符号表示一条消息的信道。 信道统计特性 单符号离散信道的信道统计特性用转移概率矩阵表示： 信道容量：传输信息不失真的条件下的最大平均信息量或最大信息速率Rmax 信道上传输的最大平均信息量：C=I(X;Y)maxbit/符号 信道上传输的最大信息速率：Rmax 信道容量的计算 几种特殊离散信道的容量 具有一一对应关系的无噪信道： 输出集合和输入集合的每个符号一一对应（n=m），见图3.3(a)。 信道转移概率矩阵为单位阵。 因为输入输出一一对应：所以 几种特殊离散信道的容量 具有扩展性能的无噪信道： 一对多（n＜m）见图3.3(b),给定一个输出，必能找到对应的唯一输入，即信道疑义度H(X/Y)=0。 信道转移概率矩阵：每列有且只有一个非零元素。 C=I(X;Y)max =[H(X)-H(X/Y)] max由于H(X/Y)=0=H(X)max 所以=H(X)max =log2n bit/符号时间 几种特殊离散信道的容量 具有归并性能的无噪信道： 多对一（n＞m），见图3.3(c)，给定一个输入，必能找到对应的唯一输出，即噪声熵H(Y/X)=0。 信道转移概率矩阵：每行有且只有一个非零元素。 C=I(X;Y)max=[H(Y)-H(Y/X)] max由于H(Y/X)=0 所以=H(Y)max =log2m bit/符号时间 对称离散无记忆信道的信道容量 对称离散无记忆信道DMC（Discrete Memoryless Channel）：矩阵的每一行都是同一集合Q =(q1,q2,…,qm)中各元素的不同排列，每一列都是关于同一集合P =(p1,p2,…,pn)中各元素的不同排列，则称为对称信道。 定理：对于对称DMC，有H(Y|X)= Hmi 证明： 对称DMC信道的容量公式： C=I(X;Y)max =[H(Y)-H(Y|X)]max =[H(Y)-Hmi]max =H(Y)max-H(q1,q2,…,qm) 设信源为单符号消息，符号数为n,等概分布，通过一个对称的DMC信道，则信宿也等概分布（设符号数为m）, 此时信道容量为： 证明：若信源等概分布时，若通过对称信道，则得到的信宿也等概分布： 例：求P1的信道容量。 解：对称DMC,所以 强对称离散信道的信道容量 强对称离散信道def: 解：因为是对称DMC信道，所以 准对称DMC的信道容量 准对称DMC（关于行对称或者关于列对称） 二元对称删除信道 准对称DMC的信道容量 例：已知 ，求此二元对称删除 矩阵的信道容量C。 令上题 ，则 ，叫做二元纯删 除信道，信道转移分布图为： 准对称DMC信道容量的求解步骤 归纳求解准对称DMC信道容量的步骤： 1、将转移概率矩阵划分成若干个互不相交的子集 2、令信源等概分布 3、 其中: n为信源符号个数，即信道转移矩阵的行数 Hmi：转移概率矩阵第i行的熵 Nk：第k个子矩阵行元素之和 Mk：第k个子矩阵列元素之和 注：若准对称信道是关于列对称，可以先进行转置，使其变成关于行对称 例：求转移概率为图示P的信道容量。 解： 由于P是关于行对称的准对称矩阵，将P分解： ，则 =log2-H(1/2,1/4,1/8,1/8) - [(1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)] =0.061bit/符号 例：求转移概率为图示P的信道容量。 解： 由于P是关于行对称的准对称矩阵，将P分解： ，则 =log2-H(1/3,1/3,1/6,1/6) - [(1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6)] =0.041bit/符号 Thank You! * 单符号离散信道的数学模型 其中：t:传输一个符号需要的时间 所以当信道特性p(yj/xi)确定以后，信道的容量只和信源概率分