第3章信道与信道容量.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著第3章信道与信道容量主要内容信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量3.1信道分类和表示参数信道分类按传输媒介分用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道3.1信道分类和表示参数按传输媒介分3.1信道分类和表示参数按输入集和输出集的个数来分类：3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数按输入端和输出端关系划分：3.1信道分类和表示参数根据信道中所受噪声种类不同来划分：3.1信道分类和表示参数按信道的参数(统计特性)是否随时间变化分：3.1信道分类和表示参数输入输出特点：3.1信道分类和表示参数3.1信道分类和表示参数信道参数3.1信道分类和表示参数二进制对称信道(BSC)3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.1信道分类和表示参数3.2离散单个符号信道及其容量信息传输率：信道中平均每个符号所能传送的信息量R=I(X;Y)=H(X)－H(X/Y)比特/符号信息传输速率：信道在单位时间内平均传输的信息量Rt=I(X;Y)/t比特/秒3.2离散单个符号信道及其容量特殊离散信道的信道容量3.2离散单个符号信道及其容量无噪无损信道(X,Y一一对应)：噪声熵H(Y|X)=0，I(X;Y)=H(X)=H(Y)当输入符号分布为等概时，信道的传输能力可达到信道容量：C＝maxI(X;Y)＝logn无噪有损信道(多个输入变成一个输出)：nmH(Y|X)=0,疑义度H(X|Y)≠0,C＝maxI(X;Y)＝maxH(Y)有噪无损信道(一个输入对应多个输出)：C＝maxI(X;Y)＝maxH(X)3.2离散单个符号信道及其容量对称DMC信道输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称3.2离散单个符号信道及其容量对称DMC信道例子3.2离散单个符号信道及其容量输入对称3.2离散单个符号信道及其容量对称信道容量3.2离散单个符号信道及其容量[例]求信道容量3.2离散单个符号信道及其容量[例]求信道容量3.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（?）3.2离散单个符号信道及其容量强对称信道容量3.2离散单个符号信道及其容量串联信道3.2离散单个符号信道及其容量[例]设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量3.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道3.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量3.2离散单个符号信道及其容量[例]求信道容量3.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号3.2离散单个符号信道及其容量方法三(续)3.2离散单个符号信道及其容量[例]求信道容量3.2离散单个符号信道及其容量一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法I(ai;Y)=C 对于所有满足p(ai)0条件的iI(ai;Y)?C 对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外3.3离散序列信道及其容量离散序列信道3.3离散序列信道及其容量离散无记忆序列信道(续)3.3离散序列信道及其容量离散无记忆序列信道(续)3.3离散序列信道及其容量