第三章多符号离散信源与信道.docVIP

第三章 多符号离散信源与信道 3.1设X＝X1X2…XN是平稳离散有记忆信源，试证明： H(X1X2…XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+…+H(XN / X1 X2…XN-1)。 (证明详见p161-p162) 3.2试证明：logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥…≥H(XN / X1 X2…XN-1)。 证明: 3.3试证明离散平稳信源的极限熵： (证明详见p165-p167) 3.4设随机变量序列(XYZ)是马氏链，且X：{a1, a 2,…, a r}，Y：{b1,b2, …,bs},Z:{c1,c2, …,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, …,r;j=1,2, …,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,…,L;j=1,2, …,s)。试证明：X与Z之间的转移概率： 证明: 3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)0，则对每个j＝1，2，…，r都存在状态极限概率： (证明详见:p171~175) 3.6设某齐次马氏链的第一步转移概率矩阵为： 试求： 该马氏链的二步转移概率矩阵； 平稳后状态“0”、“1”、“2”的极限概率。 解： 3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是： P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0. 后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。 解： 香农线图如下： 3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； 求信源的极限熵H∞； p取何值时H∞取得最大值。 解： 3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H∞； (3)求当p=0,p=1时的信息熵，并作出解释。 解: 3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. 求状态极限概率并找出符号的极限概率; 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); 信源的极限熵H∞. 解: 3.12下图所示的二进制对称信道是无记忆信道,其中,试写出N=3次扩展无记忆信道的信道矩阵[P]. 解: 2002 Copyright EE Lab508 ?H.F. 1/3 1/3 1/3 1/3 1/3 1/3 1/2 1/2 1 0 0 0 p X Y p 1 1 2 2 1 0 p p p α3:1/4 α1:1/2 α1:1 α2:1/2 α3:1/2 S3 S2 S1 α2:1/4 p/2 p/2 p/2 p/2 p/2 p/2 2 1 0