第三章 信道容量 信息论与编码 课件.pptVIP

信道特点 信道输入、输出均为n元 每符号正确传输概率均为 其他符号错误传输概率为p/(n-1) 矩阵特点 (1)n×n阶对称阵 (2)每行和为1,每列和为1 互信息和信道容量 独立并联信道 含义 信道输入序列的各随机变量取值于不同符号集 信道输出序列的各随机变量亦取值于不同符号集 也称为独立并列信道、独立平行信道或积信道 信道编码定理 对离散平稳无记忆信道，其信道容量为C，输入序列长度为L。只要实际信息率RC，就必可找到一种编码，当L足够长时，译码差错概率Pe ?。?为任意大于零的正数。反之，若实际信息率RC，则对任何编码，Pe必大于零。 [说明] ①前者为正定理，后者为逆定理 ②给出了信息传输率的极限 只要RC，必可无失真传输 若RC，必为有失真传输 ③存在性定理 3.3多符号离散信道的信道容量 Xk取值: a1,a2,…,an, 则X共有nN种 , i=1～nN Yk取值: b1,b2,…,bm, 则Y共有mN种 , j=1～mN P(Y/X) 或{p(bj/ai)} X=X1X2… Xk ….XN Y=Y1Y2… Yk ….YN 多符号离散信道的数学模型 信道矩阵 3.3多符号离散信道的信道容量 每行元素之和等于1 3.3多符号离散信道的信道容量 离散无记忆扩展信道的信道容量 X=X1X2… Xk ….XN Y=Y1Y2… Yk ….YN P(Y1/X1) P(Y1/X1) P(Y1/X1) X1 Y1 X2 Y2 XN YN 把多符号离散信道理解成单符号离散信道在每一个单位时间 传递一个随机变量的时候，需要考虑k时刻的输出变量Yk与时刻k 之前的输入变量X1X2…Xk-1和输出变量Y1Y2…Yk-1之间有无依赖关系。 单符号离散信道的N次扩展信道的数学模型 若多符号离散信道的转移概率满足 则称之为离散无记忆信道的N次扩展信道 [解释]扩展信道的转移概率 =各时刻单符号信道转移概率的连乘 无记忆性——k时刻输出Yk只与k 时刻输入Xk有关, 与k时刻之前输入X1X2… Xk-1无关 无预感性——k时刻之前输出Y1Y2… Yk-1只与k时刻之前输 入X1X2… Xk-1有关，与Xk无关 [结论] 离散无记忆N次扩展信道——无记忆，无预感 3.3多符号离散信道的信道容量 3.3多符号离散信道的信道容量 离散无记忆N次扩展信道两端的平均互信息 I(X;Y)=H(Y) - H(Y|X) 由于信道无记忆 当第k个随机变量Xk单独通过单符号离散信道时，在输出端得到的关于Xk的平均互信息量 相减可得 3.3多符号离散信道的信道容量 离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2…XN单独通过信道{X P(Y|X) Y}的平均互信息之和。 当且仅当信源X=X1X2…XN无记忆,或信源X是离散无记忆信源X的N次扩展信源时，等号成立。 原因： 离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。 3.3多符号离散信道的信道容量 对于离散无记忆信源的N次扩展信源 通过同一个离散无记忆信道信道 { X P(Y|X) Y } 在信道输出端，随机变量序列Y=Y1Y2…YN中的随机变量Yk 离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的N倍。 3.3多符号离散信道的信道容量 信道容量 当N个输入随机变量之间统计独立，并且每个输入随机变量Xk 的概率分布为达到各自信道容量Ck的最佳分布时，CN达到最大值 N个独立并联信道的信道容量等于各个信道容量之和 3.6信道编码定理 作业： 3.1 (P99); 3.2 (P99)； 3.11 (P100); 3.14 (P101); 3.15 (p101); 3.3多符号离