西安电子科技大学信息论与编码理论（专题讨论型）课件第十六章 信道编码定理.pptVIP

信道编码定理 第十六讲 对于给定的 ，通过增加N就能使 为任意小； 反之，若 ， 就会趋于1。 信道编码定理的中心问题 Shannon第二编码定理 pb、R、C以及N之间的关系 Fano不等式 pb和 有何关系？ 当收到V后关于U的平均不确定性或含糊度若不为0，就一定存在有错误，可以表示为 L=1 设空间U和V各有M个元素 ,平均误码率pb为 其中 是译码判决错误或正确的平均不确定性。 则 是判决空间V已知条件下，空间U的含糊度。 由含糊度定义有 Fano不等式 Fano不等式 证明： 定义随机变量 Fano不等式 对于给定的信源、信道及编译码规则，即给定了联合空间 ，则信道的含糊度 就可被确定，这个值就给定了译码错误概率的下限。 Fano不等式 证明： 由Fano不等式，可得 由引理2 两边对l求和，得 综上 即 离散信道编码逆定理 由信息不增原理 而 所以 又 （平均符号熵 随L增加非递增） 则 离散信道编码逆定理 ,即 时pb0 离散信道编码逆定理 设离散平稳源的字母表有M个字母，且熵为 每秒产生一个字母。令离散无记忆信道的容量为C，每 秒传送一个符号。若长为L的信息序列被编成长为 的码字，则误码率pb满足 当 时，pb为非零值。 若信息传输速率 大于信道容量 , 则不管采 何种编码和译码方法都不能使平均错误概率为0。 上述定理可推广到一般离散有记忆信道中来。 联合典型序列 令X、Y是两个概率空间， 若序列x和y满足 (1) x是ε典型序列，即对任意小的正数ε，存在N使 (2) y是ε典型序列，即对任意小的正数ε，存在N使 (3) xy是ε典型序列，即对任意小的正数ε，存在N使 就称序列对(x,y)是联合ε典型序列。 联合典型序列 【引理1】 对于任意 ，当N足够大时有 【引理2】 若 ,则 【引理3】 对于 ,若x与y相互独立，则当 N足够大时，有 联合典型序列 联合典型编码与译码 在编码时，从XN中独立随机的选择M个典型序列作为码字，在接收端YN中，对接收序列y寻找与它构成联合典型序列的那个码字。若只对应唯一一个码字，则判定该码字为所发送的码字。因为发送的码字与接收序列y构成联合典型序列的概率很高，它们之间是高概率密切相关的。 总之，若令x,y分别表示信道的输入和输出，则联合典型序列(x,y)表示那些信道的输入和输出之间密切关联、经常出现的序列对。 信道编码正定理 给定容量为C的离散无记忆信道 ，若编码速率 ，则R是可达的。 可达：对给定离散无记忆信道和任意的 一种编码速率为R的码，在N足够大时，能使 ，就称R是可达的。 ，若存在 设DMC的输入为 ,输出为 转移概率为 令编码速率为R， 编码 译码 则各码字的标号集为[1，2NR]。 编码规则：码字中各码元按输入概率 独立随机的选择，这样得到的码字必然是典型序列。换句话说，从XN中任意选出M个典型序列作为码字组成一个码组，这种编码称作随机编码。 译码规则：对给定的接收序列y，若存在唯一的 使 就将y译为m’，即 。若 或者有两个以上的m’和y联合典型时就认为出现译码错误。 因为随机码具有对称性，所以译码错误与送出消息的标号无关，即随机码集合的平均错误概率就是任意特定消息被译错的概率。不失一般性，可假定发送的是第一个消息。 信道编码正定理 令事件 则发送标号为1的消息时，译码错误概率为 由引理1知，当N足够大时有 。由引理3知，序列xm和序列y是联合ε典型序列，其概率的上限为 因而有 于是 信道编码正定理 要使上式趋于0， 。 要使上式趋于0， 。 信道编码正定理 若 ,则 ， 。 信道传递信息时，我们总希望R尽可能大。因此可以选择输入分布为最佳，即以C代替I(X;Y)，于是重述上述结论。 当RC时，可以通过编码方法使得译码错误概率趋于零，而且pe是随码长N的增加按指数规律下降的。 它是一个存在性定理，非构造性，并没有构造出实际上可实现的、具有上述性能的码的方法。纠错编码就是为解决这一问题而产生的学科，它的目的是寻找一种