信息论讲义-第四章11讲).pdf

信息理论基础 信息理论基础 第11讲 北京航空航天大学 201教研室 陈 杰 回 顾 1. 信道容量(Channel Capacity) def —信道容量 C max {I( X; Y)} p (x ) —信息传输率 R I (X;Y) H(X )=−H(X |Y) 1 —信息传输速速率 ( ; ) R I X Y t t 2. 特殊信道及其容量 —离散无噪信道(编码信道) —离散对称信道 2006-11-27 回 顾 2.1 离散无噪信道(编码信道) 分 无损确定信道 无损信道 确定信道 类 定 H(X |Y)=0 （无损） H(X |Y)=0 （无损） H(X |Y)0 （有损） 义 H(Y|X)=0 （无噪） H(Y|X)0 （有噪） H(Y|X)=0 （无噪） 特 一一对应 一多对应 多一对应 点 C C log r C log r C log s p (x) p (x)=1/r p (x)=1/r p (x)使p (y )=1/s 2006-11-27 回 顾 2.2 离散对称信道 分 准对称信道 对称信道 强对称信道 类 ⎡1 1 1⎤ ⎡ p p p ⎤ ⎡1 1 1 1⎤ ⎢2 3 6 ⎥ ⎢⎢ p r −1 r −1 r −1 ⎥⎥ ⎢3 3 6 6⎥ ⎢ ⎥ ⎢ p p p ⎥ 示 P ⎢ ⎥ P ⎢1 1 1 ⎥ P ⎢r −1 p r −1 r −1 ⎥ 例 ⎢⎢1 1 1 1⎥⎥ ⎢⎢6 2 3 ⎥⎥ ⎢⎢ ⎥⎥ ⎣6 3 6 3⎦ ⎢1 1 1 ⎥ ⎢ p p p ⎥ ⎢3 6 2 ⎥ ⎢⎣ −1 −1 −1 p