单符号离散信道的信道容量.ppt

**第3章信道容量1信道的数学模型与分类12单符号离散信道的信道容量23.3多符号离散信道的信道容量34连续信道及其容量46信道编码定理5单符号离散信道的信道模型设输入端信源符号集合为：输出端信宿符号集合为：信道转移概率为：令信道模型如图所示Def：输入输出都取值于离散符号集合，且都用一个符号表示一条消息的信道。单符号离散信道的数学模型12单符号离散信道的信道统计特性用转移概率矩阵表示：01信道容量：传输信息不失真的条件下的最大平均信息量或最大信息速率Rmax02信道上传输的最大平均信息量：C=I(X;Y)maxbit/符号03信道上传输的最大信息速率：Rmax04信道容量的计算01其中：t:传输一个符号需要的时间02所以当信道特性p(yj/xi)确定以后，信道的容量只和信源概率分布p(xi)有关。03bit/符号04s/符号05**几种特殊离散信道的容量具有一一对应关系的无噪信道：输出集合和输入集合的每个符号一一对应（n=m），见图3.3(a)。信道转移概率矩阵为单位阵。因为输入输出一一对应：所以此时信道容量：C=I(X;Y)max=H(X)max=H(Y)max=log2nbit/符号111**具有扩展性能的无噪信道：一对多（n＜m）见图3.3(b),给定一个输出，必能找到对应的唯一输入，即信道疑义度H(X/Y)=0。信道转移概率矩阵：每列有且只有一个非零元素。C=I(X;Y)max=[H(X)-H(X/Y)]max由于H(X/Y)=0=H(X)max所以=H(X)max=log2nbit/符号时间n:行数具有归并性能的无噪信道：多对一（n＞m），见图3.3(c)，给定一个输入，必能找到对应的唯一输出，即噪声熵H(Y/X)=0。信道转移概率矩阵：每行有且只有一个非零元素。C=I(X;Y)max=[H(Y)-H(Y/X)]max由于H(Y/X)=0所以=H(Y)max=log2mbit/符号时间m:列数对称离散无记忆信道DMC

（DiscreteMemorylessChannel）：矩阵的每一行都是同一集合Q=(q1,q2,…,qm)中各元素的不同排列，每一列都是关于同一集合P=(p1,p2,…,pn)中各元素的不同排列，则称为对称信道。不是对称信道每行的元素都取自同一集合Q={1/6,1/6,1/3,1/3}每列的元素也都取自同一集合P={1/6,1/3}对称信道对称信道定理：对于对称DMC，有H(Y|X)=Hmi证明：信道转移概率矩阵任意一行的熵对称：则H（Y/X）=Hmi=H(1/2,1/3,1/6)对称DMC信道的容量公式：C=I(X;Y)max=[H(Y)-H(Y|X)]max=[H(Y)-Hmi]max=H(Y)max-H(q1,q2,…,qm)设信源为单符号消息，符号数为n,等概分布，通过一个对称的DMC信道，则信宿也等概分布（设符号数为m）,此时信道容量为：对称DMC信道的信道容量01例：求P1的信道容量。02解：对称DMC,所以…01易知转移概率矩阵为：强对称离散信道def:易看出，该信道是一个特殊的对称信道。求该信道的信道容量。02则均匀信道变成BSC信道，则其容量为若取n=2,则**准对称DMC（关于行对称或者关于列对称）二元对称删除信道或分析信道转移矩阵p，两行三列，说明信道有两个输入消息(设为)，三个输出消息(设为)例：已知，求此二元对称删除矩阵的信道容量C。解需求H(Y)Y的概率分布3214