信息论讲义-第六章15讲).pdf

信息理论基础 信息理论基础 第15讲 北京航空航天大学 201教研室 陈 杰 回 顾 干扰 信源 信道 信道 信源 信源 C 信宿 编码 编码 译码 译码 通信系统模型 2 回 顾 1. 编码器 —信源符号集 S=(s ,s , …s ) 1 2 q —码符号集 X=(x ,x …x ) 1 2 r —代码组(Source Code ) C=( W , W ,…W ) 1 2 q —码 字(Codeword ) W=(x ,x ,…x ) i l1 l2 li 2. 分组码 — 奇异性 (Non-singular ) — 唯一可译性 (Uniquely decodable ) — 即时码 (Instantaneous) 3 回 顾 3. 定长码编码定理 1−η ε H s ( ) η 根据正定理，令p Eδ D[I (s )] D[I (s )] p E ≤ 2i δ N ≥ 2 i N ε ε δ L log r H (S ) H (s ) R =≥H (S ) +ε ≤ N η R