信息论课件-信道与信道容量.pptVIP

§5.3:离散无记忆信道及其信道容量-3 离散无记忆信道及其信道容量的进一步理解 Cmax存在?互信息性质1，上凸函数极值存在 达到Cmax时的两个条件： 信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布 C的值不是由信源的p(x)决定的，而是由p 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时，才能充分利用信道传输信息的能力 §5.3:离散无记忆信道及其信道容量-4 离散无记忆信道容量的计算 思路：问题转化为：有界闭区域上求约束极值 方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值 具体实现： 1、简单情况下求解（如单符号信道、对称信道） 2、解方程 3、迭代法 4、其他 §5.3:离散无记忆信道及其信道容量-5 离散无记忆信道的信道容量定理 定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是 其中： 是信源字母ak传送的平均互信息，C就是这一信道的信道容量。 §5.3:离散无记忆信道及其信道容量-6 离散无记忆信道的信道容量定理理解 在这种分布下，每个概率0的字母提供的互信息＝C，每个概率＝0的字母提供的互信息≤C 当且仅当这种分布时，可使I(p,Q)达到最大值C I(X,Y)是I(x=ak;Y)的平均值。即： 想提高I(X,Y)，可以提高p(ak) 但提高p(ak)，又使I(x=ak;Y)降低 反复调整p(ak)，使I(x=ak;Y)相等且都等于C 此时I(X,Y) ＝C 定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C §5.3:离散无记忆信道及其信道容量-7 对称的离散无记忆信道信道容量 对称的离散无记忆信道 输出字母的集合可以划分为若干子集，对每个子集有： 矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。 定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。 §5.3:离散无记忆信道及其信道容量-8 对称信道 §5.3:离散无记忆信道及其信道容量-9 a1 a2 b1 b2 b3 0。7 0。1 0。1 0。2 0。7 a1 a2 b1 b2 b3 0。2 0。7 0。7 0。1 0。1 0。2 §5.3:离散无记忆信道及其信道容量-10 BSC信道信道容量的计算 a1 a2 b1 b2 1-ε 1-ε ε ε §5.3:离散无记忆信道及其信道容量-11 由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有： 于是： 这里： §5.3:离散无记忆信道及其信道容量-12 二元删除信道信道容量的计算 a1 a2 b1 b2 1-ε 1-ε ε ε b3 §5.3:离散无记忆信道及其信道容量-13 由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有： 于是： §5.3:离散无记忆信道及其信道容量-14 0.5 1.0 0 0.5 1.0 c ε b a Ca= Cb= a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线 §5.3:离散无记忆信道及其信道容量-15 香农第一定理（变长无失真信源编码定理）的物理意义 （达到极限时等号成立） 从信道的角度看，信道的信息传输率 （达到极限时等号成立） §5.3:离散无记忆信道及其信道容量-16 香农第一定理（变长无失真信源编码定理）的物理意义 无噪无损信道的信道容量：C=logM 再看当平均码长达到极限值时 此时信道的信息传输率R＝无噪信道的信道容量C 无失真信源编码的实质： 对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。 又称：无噪信道编码定理 若信道的信息传输率R不大于信道容量