第五章 离散信道的信道容量幻灯片.pptVIP

第五章 离散信道的信道容量 ; 第五章? 离散信道的信道容量;本章重点： 1.信道容量的定义； 2.平均互信息量达到信道容量的充要条件； 3.几种特殊离散信道信道容量的计算。;5.1 信道容量的定义 ;5.2 离散无记忆信道容量的计算 ;若 （1） 输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： ;（2）对每个i,输入分布q (xi) 可使I (Xi; Yi) 达到信道容量C，则： = = NC CN ? NC (5-5);5.2.1 达到信道容量的充要条件 ;介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。 ;2. 根据定义计算信道容量C 从上式可看出，求信道容量C的问题转化为寻找某种分布q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有 ;3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式（5-6）对C进行验证： 先根据计算出ω(yj)， j =1,2,3,4,5,6;再计算出：;5.2.2 几类特殊的信道 ;【例5.6】 信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道 转移概率矩阵 ，求该信道的信道容量C。 ;由 ，先算出 (5-8) ;【例5.8】 信道输入符号集X = {x1, x2 }，输出符号集Y = {y1, y2, y3}，给定信道转移概率矩阵 ，求信道容量C。;平均互信息量 I(X; Y) = H(Y) –H (Y︱X) = -(1-q) [? log? + (1-?) log (1-?)] 根据定义，求C的问题就转化为?为何值时，I(X; Y ) 达到最大值。令 则信道容量 C = I (X; Y)︱a=0.5 = 1-q ;(2)计算出逆矩阵P-1=[ p-1 (yj︱xk)]； ;【例5.9】 给出信道转移概率矩阵 ，求信道容量C。 ;（4）信道容量 （奈特/码符号） ;图5-9 两个信道;5.3.1 独立并行信道 ;5.3.2 和信道 ;根据定义，有 （5-26） ;将式(5-28)代入条件p1+p2 = 1，得 （5-29）;5.3.3 串行信道 ;信道1：P1 = [p (y︱x)] ，信道2：P2 = [p (y‘︱x‘ )] ，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2 = [p (y’︱x’ )]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：;【例5.11】 两个离散信道 ， ，将它们串行连接使用，如图 5-10，计算总信道容量C。 ;串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足 p (y︱x) = p (z︱x) (对所有的x，y，z)