第六章：信道编码定理.ppt

联合ε典型序列定义： 设 是长为N的随机序列对， 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 同理可得： 式中δ是任意小的数，联合典型序列的全体构成联合典型序列集，记做G 。按此定义不难得到随机序列对 取某联合典型序列 的概率 满足： §6.3:信道编码定理的证明及其物理意义 永峭尿缘札颧姻之然蝴磁纪礁弛罐缄县钟墙押妹锹幢珠瀑骨崩南爆岛尉趾第六章：信道编码定理第六章：信道编码定理 联合AEP定理： 设随机序列对 的 ，则对任意小的数δ 0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设 是相互独立的随机序列对，但它与 有相同的边缘分布，即： 则： §6.3:信道编码定理的证明及其物理意义 曙汗稚瓶笼苗销警嚎鞭栗退程奶蹲帽靠撕糟挟摈枝诣台锡兹豢议愁废元恶第六章：信道编码定理第六章：信道编码定理 … … … … … … 镁轿憨怪聂认蔗蔷紊税铅莹脉珐目根潍圃赖羞蜕掌搪哑蛤拖傀簧篮奥园北第六章：信道编码定理第六章：信道编码定理 联合AEP定理的解释： 两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率?0 联合典型序列数目为2NH(XY)， 典型X,典型Y随机组合的空间为2N[H(X)+H(Y)]， 联合典型序列占其中约1/ 2NI(X;Y)，只是很小的一部分 故：当X的数目 2NI(X;Y)时，，可使Pe?0 给出一种译码方法：译码时，取与接收矢量联合典型的码字作为输出，这种译码方法可以保证得到很低的误码率。 §6.3:信道编码定理的证明及其物理意义 蔬皖触佑龋怜迪惊碴肄儒盆旬诞柑巫跨庭龋话植用骗圾增滑慌蛆待坐甄疆第六章：信道编码定理第六章：信道编码定理 Input sequence Output sequence … …… … …… y wi wi+1 2NH(XY) sequences that can map to y M = 2NR code words 吼文尉盲拟饲巡封殉辜盾箕峨哲奔沟益充诀敦粮荣贪厨匣靛膜踪畦更筐暗第六章：信道编码定理第六章：信道编码定理 §6.3:信道编码定理的证明及其物理意义 物理意义： 通过编码可以实现有噪信道上可靠的信息传输 有噪信道可靠传输的信息率的上界是信道容量C 在码长及发送信息速率一定时，可以通过增大信道容量，使错误概率减小 在信道容量及发送信息速率一定时，可以通过增加码长，使错误概率下降 滤篇惩进鞭吟搬弧恕宴堆添翁顿滩缸蛊蹈叁芽执损鼎若么幻肮缠玩桔煎葛第六章：信道编码定理第六章：信道编码定理 随机编码方法： 对每一个消息 m,(m=0,1,…M-1), 编码为xm=(xm1xm2…xmN) 其中：xmi (i=1,2,…N) 是按照输入字母的概率随 机选取，从而得到全部M=2NR个码字，组 成码矢量C＝（x0x2….xM-1) 随机编码方法产生某一特定码矢量的概率P(C)是： §6.3:信道编码定理的证明及其物理意义 禄僳牛库堆销序赦液聪语驱降尿傻岸嘴眶魁舅胸肝芦打齿膝儒众题痪挠产第六章：信道编码定理第六章：信道编码定理 §6.3:信道编码定理的证明及其物理意义 所有码的总数 有了这样的码集以后，香农不是去计算某一特定好码的性能，而是设法计算这些码的平均性能。 码字数 只占全部可能序列 的一小部分。 设码元数为r，则所有可能产生的码的总数为： 例， 闹铸妈简脏司嫂亩摧牺聋裙雨丰摔蘸殴尊董苛仅带陛鬃阀阁桅挠这斥栖肤第六章：信道编码定理第六章：信道编码定理 证明 设信道容量所对应的信道输入符号的最佳分布为p(x)，以此概率分布为基准，按照随机编码方法编码得到码矢量C。 假设输入消息是等概率分布的，第i个码字出错的概率为pe|i，则码矢量C的译码平均错误概率为 其中，pi为码矢量中第i个码字对应的概率。 则在码矢量集合{C}上对pe(C)求数学期望，得到平均错误概率为 腿夏篡颤谷室砚垢现嫩笑猛褪炙便吴头汾亿恼锥陕魁烁嘛印丛侧越蛇售沼第六章：信道编码定理第六章：信道编码定理 对于随机编码方法，不同的输入消息符号所产生对应码字的方法是相同的，所