第三章 多符号散信源与信道.docVIP

第三章 多符号离散信源与信道 3.1设X＝X1X2…XN是平稳离散有记忆信源，试证明： H(X1X2…XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+…+H(XN / X1 X2…XN-1)。 (证明详见p161-p162) 3.2试证明：logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥…≥H(XN / X1 X2…XN-1)。 证明: 3.3试证明离散平稳信源的极限熵： (证明详见p165-p167) 3.4设随机变量序列(XYZ)是马氏链，且X：{a1, a 2,…, a r}，Y：{b1,b2, …,bs},Z:{c1,c2, …,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, …,r;j=1,2, …,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,…,L;j=1,2, …,s)。试证明：X与Z之间的转移概率： 证明: 3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)0，则对每个j＝1，2，…，r都存在状态极限概率： (证明详见:p171~175) 3.6设某齐次马氏链的第一步转移概率矩阵为： 试求： 该马氏链的二步转移概率矩阵； 平稳后状态“0”、“1”、“2”的极限概率。 解： 3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是： P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0. 后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。 解： 香农线图如下： 3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； 求信源的极限熵H∞； p取何值时H∞取得最大值。 解： 3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H∞； (3)求当p=0,p=1时的信息熵，并作出解释。 解: 3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. 求状态极限概率并找出符号的极限概率; 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); 信源的极限熵H∞. 解: 3.12下图所示的二进制对称信道是无记忆信道,其中,试写出N=3次扩展无记忆信道的信道矩阵[P]. 解: 2002 Copyright EE Lab508 international, Unicom international market, adapted future people on city of development needs, based Yu industry support, and traffic advantage, and Yangtze River culture, and ecological civilization, advantage, established city development target: radiation absorb Yangtze River upstream chuan Yunnan Guizhou of regional center, and international ecological landscape culture city. 2.3.2 economic development in Yibin city, goal 2020 GDP reached 300 billion yuan, the per capita GDP reached 58000 2030 regional GDP reached 800 bi