第三章信道容量说课.ppt

一般离散信道容量 一般步骤 1。 2。 3。 4。 对于离散无记忆N次扩展信道，当信源是平稳无记忆信源时，其平均互信息 等于单符号信道的平均互信息的N倍。 离散无记忆信道的N次扩展信道的信道容量为 只有当每个输入随机变量的概率分布 均达到各自信道的最佳输入分布时， 独立并联信道的信道容量才等于各信 道容量之和： 当N个独立并联信道的信道容量都相同时， §3.6 信道编码定理 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 * * 第3章：信道容量总结 P(Y/X) x Y 信道的数学模型： {X P(Y/X) Y} 由此可以看出,平均互信息量是信源概率分布: 和表示输入输出关系的条件概率或信道转移概率分布: 的函数,即: I(X;Y) p(ai) 信道容量的定义 单位时间信道容量 若信道平均传输一符号需t秒种，则单位时间的信道容量为: X与Y一一对应,因此有H(X/Y)=0,H(Y/X)=0,则: C＝maxI(X;Y)＝H(X)=log n {p(ai)} {p(ai)} 1、一一对应的无噪信道 H(X/Y)=0，H(Y/X) 0， 且 H(X) H(Y),此时: C = max H(X) = log n {p(ai)} 对于一个输入对应多个输出的情况,有: 2、具有扩展功能的无噪信道 输入符号集个数n输出符号集个数m 3、具有归并性的无噪信道 C = max H(Y) = log m p(ai) H(X/Y) ≠ 0，H(Y/X) = 0 多个输入变成一个输出 输入符号集个数n输出符号集个数m 二、强对称(均匀)离散信道的信道容量 p：传递错误的概率； 1-p：传递正确的概率 n=m 若n=2,是二元对称信道,C＝1－H(p), 其中 H(p)=-((1-p)log(1-p)+plogp) 二进制均匀信道容量曲线 C p a1 b1 a2 b2 P=1/2,互信息量最小; P=0或1,互信息量最大,此时其时是一一无噪声信道. 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道,对称信道的行和列都是可排列的。 三、对称离散信道的信道容量 对称离散信道的信道容量 强对称信道与对称信道比较： 行之和为1 行之和，列之和均为1 P与Q未必相等 P=Q 矩阵未必对称 矩阵对称 n与m未必相等 n=m 对称 强对称 四、准对称信道离散信道的信道容量 　　若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。 小结 图4.10 独立并联信道 §3.5 连续信道 P(Y/X) 连续信道的数学模型