第六章：信道编码定理 经典.pptVIP

联合ε典型序列定义： 设 是长为N的随机序列对， 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 同理可得： 式中δ是任意小的数，联合典型序列的全体构成联合典型序列集，记做G 。按此定义不难得到随机序列对 取某联合典型序列 的概率 满足： §6.3:信道编码定理的证明及其物理意义 联合AEP定理： 设随机序列对 的 ，则对任意小的数δ 0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设 是相互独立的随机序列对，但它与 有相同的边缘分布，即： 则： §6.3:信道编码定理的证明及其物理意义 … … … … … … 联合AEP定理的解释： 两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率?0 联合典型序列数目为2NH(XY)， 典型X,典型Y随机组合的空间为2N[H(X)+H(Y)]， 联合典型序列占其中约1/ 2NI(X;Y)，只是很小的一部分 故：当X的数目 2NI(X;Y)时，，可使Pe?0 给出一种译码方法：译码时，取与接收矢量联合典型的码字作为输出，这种译码方法可以保证得到很低的误码率。 §6.3:信道编码定理的证明及其物理意义 Input sequence Output sequence … …… … …… y wi wi+1 2NH(XY) sequences that can map to y M = 2NR code words §6.3:信道编码定理的证明及其物理意义 物理意义： 通过编码可以实现有噪信道上可靠的信息传输 有噪信道可靠传输的信息率的上界是信道容量C 在码长及发送信息速率一定时，可以通过增大信道容量，使错误概率减小 在信道容量及发送信息速率一定时，可以通过增加码长，使错误概率下降 随机编码方法： 对每一个消息 m,(m=0,1,…M-1), 编码为xm=(xm1xm2…xmN) 其中：xmi (i=1,2,…N) 是按照输入字母的概率随 机选取，从而得到全部M=2NR个码字，组 成码矢量C＝（x0x2….xM-1) 随机编码方法产生某一特定码矢量的概率P(C)是： §6.3:信道编码定理的证明及其物理意义 §6.3:信道编码定理的证明及其物理意义 所有码的总数 有了这样的码集以后，香农不是去计算某一特定好码的性能，而是设法计算这些码的平均性能。 码字数 只占全部可能序列 的一小部分。 设码元数为r，则所有可能产生的码的总数为： 例， 证明 设信道容量所对应的信道输入符号的最佳分布为p(x)，以此概率分布为基准，按照随机编码方法编码得到码矢量C。 假设输入消息是等概率分布的，第i个码字出错的概率为pe|i，则码矢量C的译码平均错误概率为 其中，pi为码矢量中第i个码字对应的概率。 则在码矢量集合{C}上对pe(C)求数学期望，得到平均错误概率为 对于随机编码方法，不同的输入消息符号所产生对应码字的方法是相同的，所以在码矢量集合上进行平均后得到的码错误数学期望 与i的取值无关，为表示方便起见，令 将其代入平均错误概率表示式，并考虑到M=2NR，于是得到 为了计算 　　，设y表示发送码字ci时信道输出端接收的序列，令事件Ei表示ci与接收序列y构成的联合典型序列，于是有 同时令事件E1c表示发送第一个码字与接收序列不构成联合典型序列，即 根据联合典型序列的译码方法，当y不与码字c1构成联合典型序列，或者是与c1以外的其他码字构成联合典型序列时，错误译码就出现了，因此 其中，∪表示事件和。 根据概率论可知 由于接收序列y对应于输入码字c1，与其他码字之间相互独立，因此根据联合渐近等同分割定理的性质(1)、 (3)，即p(E1c)≤δ和p(Ei)≤2－n［I(X；Y)－3δ］，得到 由于随机编码是按照信道输入的最佳分布p(x)进行的，因此有C=I(X；Y)，在上述证明最后一步用到该公式。 如果RC－3δ，则当n足够大时，有 于是得到 PE≤2δ 所以，在码字足够长时，随机编码码集合中的平均错误译码概率PE2δ，在这些码中，至少有一个码的平均错误译码概率不