第17讲——信道编码定理.pdfVIP

第十七讲第十七讲 信道编码定理信道编码定理 信道编码定理的中心问题 pb、R、C以及N之间的关系 L ? L um ∈U N N um ∈U xm ∈ X ym ∈Y Shannon第二编码定理 对于给定的 CR ，通过增加N就能使pb 为任意小； 反之，若 CR ，就会趋于1。 Fano不等式 21 uuu L),,,( 21 xxx N),,,( 21 yyy N),,,( 21 vvv L),,,( U L X N Y N V L LL pb和VUH )( 有何关系？ uxy v L=1 U X Y V 当收到V后关于U的平均不确定性或含糊度若不 为0，就一定存在有错误，可以表示为 b = VUHfp )]([ Fano不等式 b b ≥+? VUHpHMp )()()1log( 设空间U和V各有M个元素 21 ,,, uuu M ,平均误码率pb为 = uvpuQp )()( b ∑ m ∑ mj = ∑ j vepvw j )()( mmj≠ j ?= vupvep )(1)( 其中 j mm = ∑ vup jm )( ≠ jm 则 b = ? bb ? ? b ? pppppH b )1log()1(log)( 是译码判决错误或正确的平均不确定性。 由含糊度定义有 = ∑ j vwvUHVUH j )()()( j 是判决空间V已知条件下，空间U的含糊度。 Fano不等式 b b ≥+? VUHpHMp )()()1log( ?0 r zpuv 1)0( ?=== pb 证明：定义随机变量 Z = ? ?1 ≠ r )1( == pzpuv b += ZVUHVZHVUZH )()()( +≤ ZVUHZH )()( b += ZVUHpH )()( ?= b += b = VZUHpVZUHpZVUH ),1(),0()1()( ≤ + b ? ≤ b MpMp ? )1log()1log(0 +≤ bb MppHVUZH ? )1log()()( += UVZHVUHVUZH )()()( ∵ UVZH = 0)( = VUH )( H()UV≤?+ pbb log(1)() M H p Fano不等式 b b ≥+? VUHpHMp )()()1log( 对于给定的信源、信道及编译码规则，即给定了联合 空间{}vupUV ),(, ，则信道的含糊度 ?= VUIUHVUH );()()( 就可被确定，这个值就给定了译码错误概率的下限。 Fano不等式 21 uuu L ),,,( 21 xxx N ),,,( 21 yyy N ),,