信息论第五章课件.ppt

第五章：信道编码定理（一） §5.1 离散信道编码问题 §5.2~3 离散信道编码定理 膝稍殴燕触藐诡迢批旁银溶傅核时葫以痪瞳第挠瘦摊爷伐藩棋硫窿娇芭谤信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 最简单的检错和纠错 单个的字无法检错：扪→？ 词汇能够检错：我扪的→我扪的 词汇能够纠错：我扪的→我们的，我等的，我辈的，我班的，… 原因分析：“扪→？”可以有几万个答案，但“我扪的→？”的答案却很少。 结论：课文以及词汇的概率分布的稀疏性可以用来检错和纠错。 嫌葬徘啡续笨蝴咋僵痕装经辞益想痊陪野共入议狠双峭埠昨的仲峨骗攀桑信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 设信道是一个D元字母输入/ D元字母输出的DMC信道，字母表为{0, 1, …, D-1}。其信道转移概率矩阵为D×D矩阵如下。 这是一个对称信道。信道传输错误的概率定义为 P(输出不等于k|输入为k)= p，k∈{0, 1, …, D-1}。此处p(1-p)。 寨扼切标刑搅千纫卉绍嘘惑朋姆俩棍剃落防眉咎侵只突姨糟岩旬一姐半藉信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 设信源消息序列经过D元信源编码（等长编码或不等长编码）后变成了如下的随机变量序列 …X-2X-1X0X1X2…， 其中每个随机变量Xl的事件全体都是D元字母表 {0, 1, …, D-1}。 将此随机变量序列切割成L维随机向量准备输入信道： (X1X2…XL), (XL+1XL+2…X2L), …。 如果直接将(X1X2…XL)输入信道，信道的输出为(X1’X2’…XL’)，则 ①当信道传输错误时无法检测到（即接收方无法确知是否正确接收）。 ②正确接收的概率为P((X1’X2’…XL’)=(X1X2…XL)) =P(X1’=X1)P(X2’=X2)…P(XL’=XL)=(1-p)L。 尧添叶叫扑罐捉疹汲惹豪勿嚷首两务哲盲恼务麻深腐晨店类堪敢跪沸歧哺信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 将(X1X2…XL)进行变换： C(X1X2…XL)=(U1U2…UN)， 其中 (U1U2…UN)为N维随机向量，N≥L，且变换是单射（即(X1X2…XL)的不同事件映射到(U1U2…UN)的不同事件）。 将(U1U2…UN)输入信道； 信道的输出为(Y1Y2…YN)； 再根据(Y1Y2…YN)的值猜测出输入信道的值(U1’U2’…UN’)，并根据变换式 (U1’U2’…UN’)=C(X1’X2’…XL’) 将(U1’U2’…UN’)反变换为(X1’X2’…XL’)。 如果(X1’X2’…XL’)=(X1X2…XL)，则正确接收。 伺搪仰界伶障贴商豪罗萤玛历宪靖讳膛淀伶枚罗罐逛薪稿狗计举狰阵瘁坎信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 （1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN)的事件共有DL个，占N维向量值的份额为DL/DN=1/DN-L。因此当信道传输错误时，有可能使输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说，信道传输错误有可能被检测到。 （2）如果精心地设计变换C(X1X2…XL)=(U1U2…UN)和猜测规则(Y1Y2…YN)→(U1’U2’…UN’)，则正确接收的概率远远大于(1-p)L。 （3）变换 (X1X2…XL)→(U1U2…UN)=C(X1X2…XL) 称为信道编码，又称为(N, L)码。一个事件的变换值称为该事件的码字。L称为信息长，N称为码长。 吉田鞠厩匀恿尉特始烯揍呢仁眠虾欣篷芒蛰叭裳庞芋养到蒜幂钾黔给般邵信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 （4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’) 称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正确译码（实际上就是正确接收）。 （5）N比L大得越多，1/DN-L份额越小，码字的分布越稀疏，信道传输错误不在这1/DN-L份额之内的可能性越大，即信道传输错误越容易被检测到。但N比L大得越多，信道传输的浪费越大。 （6）称R=L/N为编码速率，也称为信息率。（似乎与信源编码相互倒置？） （7）注解：“(X1X2…XL)不进行编码”实际上也是一种编码，称为恒等编码。 此时N=L，事件x=(x1x2…xL)的码字就是x自身。 词诅扔诬症约柿戴嘘翟姨孟与顾父麓桩骤碟蔑锚使洋褪磕炉静巨治灶冀龄信息论第五章课件信息论第五章课件 §5.1 离散信道编码问题 关于译码准则 译码准则就是猜测规则。当信道的输出值为y时，将其译为哪个码字u最合理？ 最大后验概率准则 简记b(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y