信息论与纠错编码有躁信道编码教学课件PPT.pptVIP

信道编码定理 正定理：只要传信率R小于信道容量C，总存在一种信道码（及解码器），可以以所要求的任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R的上边界，如果R C，就不可能有任何一种编码能使差错概率任意小。 * 纠错编码的基本思路 R不变，信道容量大者其可靠性函数E(R)也大； C不变，码率减小时其可靠性函数E(R)增大 。 * E(R) R 0 R1 R2 C1 C2 增大E(R)的途径 信道编码定理 纠错编码的基本思路 增大信道容量C 扩展带宽：开发新的宽带媒体 加大功率：提高发送功率、提高天线增益 降低噪声：采用低噪声器件 减小码率R （R =( lbM) / N ） Q、N不变而减小K Q、K不变而增大N N、K不变而减小Q 增大码长N * ∧ λ： 兰姆达 * 用“+”即加法来表示一个交换群的代数运算，称这样的群为加群。 * [例]：BSC信道的最大似然译码可以简化为最小汉明距离译码。 汉明距离译码是一种硬判决译码。由于BSC信道是对称的，只要发送的码字独立、等概率 ，汉明距离译码也就是最佳译码。 * 3．平均错误概率 （5-4） 平均错误概率等于对全概率p(xy)求和，y对所以取值求和，x对X= {xm (m =1, 2, …, M) }中除去xk以外的所有项求和； xk是最大后验概率译码准则下被选为y的估值 的那一项。 ( ) ? = - = M j k j 1 ) ( 1 y x y f w （5-2）信道输出y而信道译码器估错的概率，对其两边求关于y的统计平均值 两次求和 （5-4） 【例5.6】 计算[例5.5]的平均错误概率，若信源等概分布，对其译码，并求平均错误概率。 ( ) ? = - = M j k j 1 ) ( 1 y x y f w 【例5.5】信源分布 ，信道转移概 率矩阵 ,信道输出符号Y = {y1, y2, y3}，按最 大后验概率准则译码。 （1）求平均错误概率pe 根据式（5-4）得 = 0.01+0.12+0.07+0.12+0.1+0.02 = 0.44 (2)当信源等概分布，按最大似然函数译码准则译码，[例 5.5]已给出信道转移概率矩阵 在矩阵的每 列中选一最大值(矩阵中带下划线的值)，译码为 平均错误概率 5.3 信道编码定理（香农第二定理） 离散、无记忆、平稳信道，信道容量为C，只要待传送的信息率RC，就一定能找到一种信道编码方法，使得码长N足够大时，平均差错率Pe任意接近于零。 香农（1948）第二定理是存在性定理，它指出在RC时，肯定存在一种好的信道编码方法，使Pe逼近零。但并没有给出编码的具体方法。 提高数据传输可靠性的方向 有噪信道编码逆定理 离散、无记忆、平稳信道，信道容量为C，如果信息率RC，则肯定找不到一种信道编码方法，使得码长N足够大时，平均差错率任意接近于零。 香农信息论对信道编码的指导意义 信道编码定理：每一个信道具有确定的信道容量C，对于任何小于C的信息传输率R，总存在一个码长为n，码率等于R的分组码，若采用最大似然译码，则其译码错误概率PE满足 PE?Ae-nE(R) 其中：A是常数，E（R)为误差函数 错误概率PE越小，传输可靠性越高。 增大码长n，降低差错概率，提高传输可靠性 有噪信道编码定理（香农第二定理） 如一个离散无记忆信道，信道容量为C。当信息传输率R≤C时，只要码长足够长，总可以在输入符号集中 找到M 个码字组成的一组码 和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。 有噪信道编码逆定理 如一个离散无记忆信道，信道容量为C。当信息传输率RC时，则无论码长n多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。 信道编码的指导意义 当取信道容量C以下的信息传输率时， 以指数趋进于0；当取分界点以下的信息传输率时， 以指数趋进于1；因此在任何信道中: