有噪声信道编码定理.pptVIP

就是任意特定消息被错误译码的概率。 所以不失一般性可假设发送的是第一个消息。 译码错误概率为 因为随机码具有对称性，所以译码错误概率与送出的 消息编号无关，也就是随机码集合的平均错误概率 再具体一些说，就是： 为了使R大，可使 I(X:Y) 极大化，即以C代替。 若RC-3?，随着 n 趋于无穷大，上面的错误概率趋于0。 因为RC-3?，上面的错误概率趋于0，所以必定存在一种码，当 n 足够大时，其译码错误概率为0。 （还有另外的证明方法，例如McEliece书中的距离球方法） 信道编码逆定理： （分强弱逆定理） 设离散无记忆信道[X, p(y|x), Y]，其信道容量为C。当信息传输率RC时，则无论码长n 多长，总也找不到一种编码 ，使译码错误概率任意小。 证明：假设选用 个码字组成的一个码书（组）， 设M个码字是等概分布，则 M 个 n 长的码字的 集合W的熵H(W)=logM=nR，由于 因为W集中M个码字是从 中选取，根据数据处理定理 和无记忆扩展信道的性质，必有 当 时错误概率趋于零 根据费诺不等式 其中 当RC时，n增大时错误概率界限将远离零值。 联合信源信道编码定理 香农第二定理：R C，存在可靠传输的信道编码； 香农第一定理：R’ H，存在无失真压缩的信源编码； 联合信源信道编码定理： H C，信源信道联合编码的 一方面要使译码错误概率小，一方面要保持较大的信息传输率，如何平衡两者？ 信道编码定理指出：只要信息传输率小于信道容量，则存在编码方法可以补偿信息损失，而达到任意的传输可靠性。 香农信道编码定理是随机编码方法证明的，只说明存在很多编码方法，并没有提出构造方法。 实际的编码方法的构造还需要研究易于实现的判别（译码）方式，这就需要在码中加入代数或几何结构。这就是纠错码的内容。 第八讲 有噪声信道编码定理 结 束 8－1 错误概率与译码准则 8－2 Fano不等式 8－3 联合典型序列 8－4 无失真信道编码定理 第八讲 有噪声信道编码定理 1、离散信道编码的概念 8－1 错误概率与译码准则 L级移存器 纠错编码器 离散信道 纠错解码器 L级移存器 干扰 等概、独立、等长；信道干扰－－加冗余－－分组码 长为 L 的二元信息序列的总数为 个， 长为 n 的二元数字序列的总数为 。 分组编码就是从 个长为 n 的序列中，选出 M 个，以 表示原 M 个信息序列。 任何一种指定方式就给出一种编码方法。这就是一种编码变换。 R＝L / n 编码速率定义为： 这里是编码以后的符号的信息率,也就是编码后每个符 号所承载的信息量。 与信源编码的 R’ 定义不同 ： 信源 编码 信道 编码 输出符号的信息率 编码速率 N --- L --- n L/N L/n 令 是和信道输入 相对应的信道输出，纠错译码器的作用就是根据收到的 和译码规则，判断发送的序列是M个可能序列中的哪一个。 错误概率与信道的统计特性有关，也与译码的规则有关 例如：二元对称信道, p=1/3. 输入符号集为 输出符号集 制定译码规则就是设计一个函数 ，它对每一个输出符号 确定一个唯一的输入符号 与之对应（单值函数）。即 2、错误概率与译码准则 设离散单符号信道 在确定译码规则后，若信道输出端接收到的符号为 ， 则一定译成 ，如果发送端发送的就是 ，这就是 正确译码；如果发送的不是 ，就认为错误译码。 令 为条件错误概率，其中 e 表示除了 以外的所有 输入符号的集合。 经过译码后的平均错误概率 PE 应当是条件错误概率对空间Y取平均值。即 那么收到符号条件下译码的条件正确概率为： 它表示经过译码后平均接受到一个符号所产生的错误大小。 可以选择译码规则使每一项最小，也就是使PE最小。因为 与译码规则无关，所以只要设计译码规则 使条件概率 最小