第15讲信道编码定理2014.ppt

第十七讲 信道编码定理 信息传输速率 R, 信道容量 C ，传输误码率 P b 以及 编码长度 N 之间的关系？ Shannon 信道编码定理 p b 为任意小； 对于给定的 R ? C ，通过增加 N 就能使 b 就会趋于 1 。 反之，若 R ? C ， p 离散信道编码逆定理 ( u 1 , u 2 , ? , u L ) U L ( x 1 , x 2 , ? , x N ) 信道编码 信道 ( y 1 , y 2 , ? , y N ) 信道译码 ( v 1 , v 2 , ? , v L ) X N Y N V L 由信息不增原理 I ( X N ; Y N ) ? I ( X N ; V L ) 而 所以 I ( X N ; V L ) ? I ( U L ; V L ) I ( U L ; V L ) ? I ( X N ; Y N ) ? NC 离散信道编码逆定理 1 p e log( M ? 1) ? H ( p e ) ? H ( U L V L ) L 1 ? H ( U L ) ? I ( U L ; V L ) I ( U L ; V L ) ? I ( X N ; Y N ) L N N 1 I ( X ; Y ) ? NC N N ? H L ( U ) ? I ( X ; Y ) L N ? H L ( U ) ? C L 又 ? H L ( U ) ? H ? ( U ) （平均符号熵 H N ( X ) 随 L 增加非递增） ? ? 则 p e log( M ? 1) ? H ( p e ) ? H ? ( U ) ? ( N / L ) C H ? ( U ) ? ( N / L ) C ? 0 , 即 LH ? ( U ) / N ? C 时 p e 0 L H ? ( U ) 大于信道容量 C , 则不管采 若信息传输速率 N 何种编码和译码方法都不能使平均错误概率为 0 。 离散信道编码逆定理 设离散平稳源的字母表有 M 个字母，且熵为 H ? ( U ) ? lim H L ( U ) L ? ? 每秒产生一个字母。令离散无记忆信道的容量为 C ，每 ? s 秒传送一个符号。若长为 L 的信息序列被编成长为 N ? L ? s / ? c 的码字，则误码率 p b 满足 p b log( M ? 1 ) ? H ( p b ) ? H ? ( U ) ? ( ? s / ? c ) C L 当 ( ? c / ? s ) H ? ( U ) ? H ? ( U ) ? C 时， p b 为非零值。 N L C 则不管采 若信息传输速率 H ? ( U ) 大于信道容量 , N 何种编码和译码方法都不能使平均错误概率为 0 。 上述定理可推广到一般离散有记忆信道。 联合 ε 典型序列 令 X 、 Y 是两个概率空间， x ? ( x 1 , x 2 , ? , x N ) ? X N y ? ( y 1 , y 2 , ? , y N ) ? Y N 若序列 x 和 y 满足 (1) x 是 ε 典型序列，即对任意小的正数 ε ，存在 N 使 1 ? log p ( x ) ? H ( X ) ? ? N 1 ? log p ( y ) ? H ( Y ) ? ? N (2) y 是 ε 典型序列，即对任意小的正数 ε ，存在 N 使 (3) xy 是 ε 典型序列，即对任意小的正数 ε ，存在 N 使 1 ? log p ( xy ) ? H ( XY ) ? ? N 就称序列对 ( x,y ) 是联合 ε 典型序列。 联合 ε 典型序列 【引理 1 】 对于任意 ? ? 0 ，当 N 足够大时有 p r ? T XY ( N , ? ) ? ? 1 ? ? ( 1 ? ? ) 2 N [ H ( XY ) ? ? ] ? T XY ( N , ? ) ? 2 ? p ( xy ) ? 2 N N [ H ( XY ) ? ? ] 【引理 2 】 若 xy ? T XY ( N , ? ) , 则 2 ? L [ H ( XY ) ? ? ] ? L [ H ( XY ) ? ? ] 【引理 3 】 对于 x ? X y