第5章 信道编码.ppt

第5章 信道编码 ③线性分组码的编码原则 例4 (3,1)线性分组码 三次扩展信源中8个可能的码字 8个可能的码字构成的码表中，任意两个码字之间的码距 如果选取其中c1=000，c8=111为许用码，其余为禁用码——三重复码——2个码字构成的码表中 及信源等概率条件下的平均译码错误概率 在信道 如果选取其中c2=001，c7=110为许用码，其余为禁用码——2个码字构成的码表中 及信源等概率条件下 在信道 x=0→c2=001，x=1→c7=110——三次扩展信源的子信源，三次扩展信宿 三次扩展信道的子信道 最大似然准则译码 收到y1=000时 收到y2=001时 收到y3=010时 收到y4=011时 收到y5=100时 收到y6=101时 收到y7=110时 收到y8=111时 通过在发送端增加冗余使消息出现一位传输错误时由接收端进行纠正——纠错 平均译码错误概率 如果选取其中c1=000，c7=110为许用码，其余为禁用码——2个码字构成的码表中 及信源等概率条件下 在信道 x=0→c1=000，x=1→c7=110——三次扩展信源的子信源，三次扩展信宿 三次扩展信道的子信道 最大似然准则译码 收到y1=000时 收到y2=001时 收到y3=010时 收到y4=011时 收到y5=100时 2、香农第二定理 定理 信道的信道容量为C，对n次扩展信道进行信道编码，对任意给定的ε 0，只要码率R C，当n足够大，平均译码错误概率Peε 如果码率R C，无论n多大，平均译码错误概率Pe ε 正定理 当n足够大，随机产生的码字为等概率的典型序列，数量为2nH(X)，选取其中2nR个作为许用码，其余为禁用码 发生译码错误的两种情况 调整信源概率P(X)，使I(X;Y)=C 不失一般性，记E1*表示第一种情况，Ei 表示第二种情况 i=2,…,2nR 平均译码错误概率 当n足够大 5.3 费诺不等式与香农第二定理的逆定理 1、费诺不等式 n次扩展信道的损失熵H(Xn/Yn)与平均译码错误概率Pe之间满足 定理 2、逆定理 对于长度为n，数量为2nR的任意码字，如果R C， 当n足够大，有 香农第二定理表明了平均译码错误概率任意小的信道编码的存在性，明确了信道容量C是信道编码的码率上界——香农界 5.4 纠错与线性分组码的编码原则 1、纠错——信道编码 通过在发送端增加冗余使消息出现传输错误时由接收端自动进行纠正——纠错 2、n重复码 例1 信源等概率时的平均译码错误概率 最大似然准则译码 收到y1时 收到y2时 平均译码错误概率 通信系统中一般要求平均译码错误概率的数量级10-6 -10-9 三重复码——消息重复三次——x1=0→c1=000，x2=1→c2=111——三次扩展信源的子信源，三次扩展信宿 三次扩展信道的子信道 最大似然准则译码 收到y1=000时 收到y2=001时 收到y3=010时 收到y4=011时 收到y5=100时 收到y6=101时 收到y7=110时 收到y8=111时 三重复码——通过在发送端增加冗余使消息出现一位传输错误时由接收端进行纠正——纠错 平均译码错误概率 重复n次——n重复码 n重复码的码长为原来的n倍——编码效率为1/n 需要找的“好码” 足够小的平均译码错误概率Pe 较高的编码效率 3、线性分组码及其编码原则 ①线性分组码 定义 具有恒定码字长度和消息长度，消息相加后的编码等同于各自编码相加的纠错码 表示 (n,k)——其中n为码字长度，k为消息长度，n-k为校验长度 例2 (4,3)偶校验码 ②码距和最小码距 2k个码字构成的码表中，任意两个码字之间的码距(汉明距离) 定义 任意两个码字对应位上不同码元的个数 表示 例3 (4,3)偶校验码中码字c2和c3之间的码距d23 2k个码字构成的码表中，码字之间的最小码距 定义 所有码字之间码距的最小值 表示 * 第5章 信道编码 理解n次扩展信道的联合渐近均分性 理解香农第二定理 理解线性分组码的纠错原理 掌握汉明码的编码和译码 教学内容和要求 5.1 联合渐近均分性定理 1、n次扩展信道的联合渐进均分性 例1 二次扩展信道相关符号序列的概率分布特点 二次扩展信源的概率 信源符号序列概率分布特点 二次扩展信道的信道矩阵 二次扩展信宿的概率 信宿符号序列概率分布特点 信源信宿联合符号序列概率分布特点 2、联合渐进均分性定理 定理 任意给定ε 0，当n足够大，n次扩展信源的典型序列满足 同样的ε和n，n次扩展信宿的典型序列满足 n次扩展信道的联合典型序列满足 取n≥n1，当n1足够大 由大数定理 取n≥n2，当n2足够大 由大数定理 取n≥n3，当n3足够大 由大数定理 推论1 推论2 推论3 5.2 香农第二定理 1、平均译码