- 1、本文档共48页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第六章:信道编码定理 经典
联合ε典型序列定义: 设 是长为N的随机序列对, 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 同理可得: 式中δ是任意小的数,联合典型序列的全体构成联合典型序列集,记做G 。按此定义不难得到随机序列对 取某联合典型序列 的概率 满足: §6.3:信道编码定理的证明及其物理意义 联合AEP定理: 设随机序列对 的 ,则对任意小的数δ 0,我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc: (1) (2) (3)设 是相互独立的随机序列对,但它与 有相同的边缘分布,即: 则: §6.3:信道编码定理的证明及其物理意义 … … … … … … 联合AEP定理的解释: 两个随机变量情况下,序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个,该定理说明:随N的增大,对应X的Y只能是(X,Y)典型序列对的Y,取其他Y的概率?0 联合典型序列数目为2NH(XY), 典型X,典型Y随机组合的空间为2N[H(X)+H(Y)], 联合典型序列占其中约1/ 2NI(X;Y),只是很小的一部分 故:当X的数目 2NI(X;Y)时,,可使Pe?0 给出一种译码方法:译码时,取与接收矢量联合典型的码字作为输出,这种译码方法可以保证得到很低的误码率。 §6.3:信道编码定理的证明及其物理意义 Input sequence Output sequence … …… … …… y wi wi+1 2NH(XY) sequences that can map to y M = 2NR code words §6.3:信道编码定理的证明及其物理意义 物理意义: 通过编码可以实现有噪信道上可靠的信息传输 有噪信道可靠传输的信息率的上界是信道容量C 在码长及发送信息速率一定时,可以通过增大信道容量,使错误概率减小 在信道容量及发送信息速率一定时,可以通过增加码长,使错误概率下降 随机编码方法: 对每一个消息 m,(m=0,1,…M-1), 编码为xm=(xm1xm2…xmN) 其中:xmi (i=1,2,…N) 是按照输入字母的概率随 机选取,从而得到全部M=2NR个码字,组 成码矢量C=(x0x2….xM-1) 随机编码方法产生某一特定码矢量的概率P(C)是: §6.3:信道编码定理的证明及其物理意义 §6.3:信道编码定理的证明及其物理意义 所有码的总数 有了这样的码集以后,香农不是去计算某一特定好码的性能,而是设法计算这些码的平均性能。 码字数 只占全部可能序列 的一小部分。 设码元数为r,则所有可能产生的码的总数为: 例, 证明 设信道容量所对应的信道输入符号的最佳分布为p(x),以此概率分布为基准,按照随机编码方法编码得到码矢量C。 假设输入消息是等概率分布的,第i个码字出错的概率为pe|i,则码矢量C的译码平均错误概率为 其中,pi为码矢量中第i个码字对应的概率。 则在码矢量集合{C}上对pe(C)求数学期望,得到平均错误概率为 对于随机编码方法,不同的输入消息符号所产生对应码字的方法是相同的,所以在码矢量集合上进行平均后得到的码错误数学期望 与i的取值无关,为表示方便起见,令 将其代入平均错误概率表示式,并考虑到M=2NR,于是得到 为了计算 ,设y表示发送码字ci时信道输出端接收的序列,令事件Ei表示ci与接收序列y构成的联合典型序列,于是有 同时令事件E1c表示发送第一个码字与接收序列不构成联合典型序列,即 根据联合典型序列的译码方法,当y不与码字c1构成联合典型序列,或者是与c1以外的其他码字构成联合典型序列时,错误译码就出现了,因此 其中,∪表示事件和。 根据概率论可知 由于接收序列y对应于输入码字c1,与其他码字之间相互独立,因此根据联合渐近等同分割定理的性质(1)、 (3),即p(E1c)≤δ和p(Ei)≤2-n[I(X;Y)-3δ],得到 由于随机编码是按照信道输入的最佳分布p(x)进行的,因此有C=I(X;Y),在上述证明最后一步用到该公式。 如果RC-3δ,则当n足够大时,有 于是得到 PE≤2δ 所以,在码字足够长时,随机编码码集合中的平均错误译码概率PE2δ,在这些码中,至少有一个码的平均错误译码概率不
文档评论(0)