信息论与编码纠错第四章节.pptVIP

第4章 离散信道的信道容量;内容提要;§4.1信道容量的定义;二．信道容量;§4.2 离散无记忆信道容量的计算 ;证明：对于DMC信道，由定理2.4（若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）小于等于各单个符号间平均互信息量的总和） ;（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： ;二．达到信道容量的充要条件;下面介绍几种特殊信道信道容量的求解。;【解】;3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证： ;再计算出：;【例】 无噪确定信道;【解】;3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证： ;【例】 无噪无损信道;三．几类特殊信道的信道容量;定义3：如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。 ;【定理???】 （准）对称信道的条件熵H(Y/X)与信道输入消息的分布p(x)无关，且有H(Y/X)= H(Y/xi) 。 ;【定理三】 实现DMC准对称信道的信道容量的信源分布为等概率分布。 ;【例】信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道转移概率矩阵为P，求该信道的信道容量C。 ;由 ;可算得信道容量;【例】BSC信道的转移概率如下，求信道容量： ; ;2. 信源只含两个消息 ;平均互信息量;3．信道转移概率矩阵为非奇异方阵 ;(5)??验证是否满足p(xi) ? 0， i =1, 2, …, K。 ;【例】 已知信道转移概率矩阵P，求信道容量C。;(4) 根据式 ;再算得;§4.3 组合信道的容量 ;一．独立并行信道 ;二．和信道 ;根据定义，有;从上式中解出 ;三．串行信道 ;【例】给定两个信道，信道转移概率矩阵分别为： ;对于前面的结论，可用数据处理定理说明： ;证明：;【例】两个离散信道，将它们串行连接使用，计算总信道容量C。 ;串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足 ;本 章 小 结;（2）N个信道轮流使用：各信道使用概率为pk ，k =1,2, …, N，总信道容量为：