8-第八讲 有噪声信道编码定理.pptVIP

* * 8－1 错误概率与译码准则 8－2 Fano不等式 8－3 联合典型序列 8－4 无失真信道编码定理 第八讲 有噪声信道编码定理 1、离散信道编码的概念 8－1 错误概率与译码准则 L级移存器 纠错编码器 离散信道 纠错解码器 L级移存器 干扰 等概、独立、等长；信道干扰－－加冗余－－分组码 长为 L 的二元信息序列的总数为 个， 长为 n 的二元数字序列的总数为 。 分组编码就是从 个长为 n 的序列中，选出 M 个，以 表示原 M 个信息序列。 任何一种指定方式就给出一种编码方法。这就是一种编码变换。 R＝L / n 编码速率定义为： 这里是编码以后的符号的信息率,也就是编码后每个符 号所承载的信息量。 与信源编码的 R’ 定义不同 ： 信源 编码 信道 编码 输出符号的信息率 编码速率 N --- L --- n L/N L/n 令 是和信道输入 相对应的信道输出，纠错译码器的作用就是根据收到的 和译码规则，判断发送的序列是M个可能序列中的哪一个。 错误概率与信道的统计特性有关，也与译码的规则有关 例如：二元对称信道, p 1/3. 输入符号集为 输出符号集 制定译码规则就是设计一个函数 ，它对每一个输出符号 确定一个唯一的输入符号 与之对应（单值函数）。即 2、错误概率与译码准则 设离散单符号信道 在确定译码规则后，若信道输出端接收到的符号为 ， 则一定译成 ，如果发送端发送的就是 ，这就是 正确译码；如果发送的不是 ，就认为错误译码。 令 为条件错误概率，其中 e 表示除了 以外的所有 输入符号的集合。 经过译码后的平均错误概率 PE 应当是条件错误概率对空间Y取平均值。即 那么收到符号条件下译码的条件正确概率为： 它表示经过译码后平均接受到一个符号所产生的错误大小。 可以选择译码规则使每一项最小，也就是使PE最小。因为 与译码规则无关，所以只要设计译码规则 使条件概率 最小。为使 最小，就应选择 为最大，也就是选择函数 并满足条件 这就是最大后验概率译码准则。对每个输出符号均译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。 一般 ，这样最大后验概率准则就可表示为： 选择译码函数 因为我们一般是已知信道的传递概率 与输出符号 的先验概率 ，所以根据贝叶斯定律 使满足 这样定义的译码规则称为最大似然译码准则。 （因为 称为 的似然函数 ，likelihood）。 当输入分布等概时，最大似然译码准则和最大后验概率准则是等价的。 根据最大似然译码准则，我们可以直接从信道矩阵的传递概率中去选定译码函数：就是说，收到 后，译成信道矩阵的第j 列中最大的那个元素所对应的信源符号。 最大似然译码准则本身不再依赖于先验概率。但是当先验概率为等概时，它使错误概率PE最小。如果先验概率不相等或不知道时，仍可以采用这个准则，但不一定能使 PE 最小。 根据译码准则可进一步写出平均错误概率，即 求和号中的X－a*表示对符号集中除a*以外的所有元素求和。 而平均正确率为 还可以写为另一种形式： 以 a 为条件 转移概率 －－－－就是某个输入符号 传输所引起的错误概率。 如果先验概率是等概的 不知道什么是正确的译码， 所以才依据译码准则。 例：已知信道矩阵 根据最大似然译码准则，可选择译码函数为B 在输入等概分布时采用译码函数B可以使平均错误概率最小。 若输入分布不等概时，例如其分布为 以上是单符号的误码率， 对于序列的译码错误概率：误码率；误组率 8－2 Fano不等式 证明： H X|Y Log r Log（r-1 PE PE和H X|Y 的允许区域 费诺不等式说明：接收到Y后关于X的平均不确定性 做一次判决后 可分为两部分，第一部分是指接收到Y后是否产生PE错误的不确定性H（PE）；第二部分表示当错误PE发生后，到底是剩下的（r-1 个中的哪个输入符号发送而造成错误的最大不确定性。 定义：n长的序列对（x，y）满足： （1）x是ε典型序列，即对于任意小的正数ε，存在n使 ? （2）y是ε 典型序列，即对于任意小的正数ε，存在n使 8－3 联合典型序列 （3）对于任意小的正数ε，存在n使 则称序列对（x，y）为联合ε典型序列。 我们以 表示 中 x 的典型序列集， 以 表示 中 y 的典型序列集， 而以 表示 中 xy 的典型序列集，即 （X的典型序列和Y的典型序列不一定就是联合典型序列） 定理：（联合渐进等分割性）对于任意小的正数 当n足够大时，则有 （1） （3） （2） 定理：对于任意小的正数 ，当n足够大时 （1） 其中 （2） 令 即是在给定ε典型序列 x条件下，与 x 构成联合 ε典型序列对的所有