5编码理论(simple).pdf

第5章编码定理  无失真离散信源编码定理  限失真信源编码定理  离散信道编码定理  连续信道的编码定理 1 2011/11/30 第5章编码定理 1. 问题的提出 实际与理论之间存在较大差距。 理论上计算所得的最大或最小信息率(信道容量C、率 失真函数R(D))是否能达到或逼近? 2. 讨论内容 无失真离散信源编码定理(定长/变长) 限失真信源编码定理 离散信道编码定理 2 2011/11/30 连续/半连续信道编码定理 3. 编码定理的实际意义 指出设计最佳编码器的方向; 指出系统平均误码率是以可靠性函数作为负指数随码长 增加逼近零的。 3 2011/11/30 5.1无失真离散信源编码定理 离散、无失真、无记忆信源编码的一般模型： 入 出 U (U U ) 信源 X (X 1 X K ) 1 L 编码 总码组合数： 总组合数： L K n m 4 2011/11/30 5.1无失真离散信源编码定理 L维信源符号序列U=(u ,u ,…,u ,…,u ), 1 2 l L 其中u (a ,a ,…,a ,…,a ); l 1 2 i n 经编码映射为码序列X=(x ,x ,…,x ,…,x ), 1 2 k K 其中x (b ,b ,…,b ,…,b ) 。 k 1 2 j m K L 要求: (1)译码后无失真(若K为定值)m n ; (2)平均每消息符号编码器发送的信息率R尽可能小。 logM K R log m L L 5 2011/11/30 式中M=mK 为可编码字(码序列)数, logM=K log m 为假定每个码字等概时的信息量。 6 2011/11/30 5.1无失真离散信源编码定理  应满足条件： L K