信息论与编码课后习题答案.docVIP

信息论与编码课后习题答案 信息论与编码课后习题答案 PAGE / NUMPAGES 信息论与编码课后习题答案 - 让每个人平等地提升自我 1． 有一个马尔可夫信源，已知 p(x 1|x1)=2/3， p(x 2|x1 )=1/3， p(x 1|x2)=1 ， p(x 2|x 2)=0 ，试画出该信 源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x1) 1 (x2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态 立方程： p( x1 ) p( x1 x1 ) p( x1 ) + p( x1 x2 ) p(x2 ) = 32 p(x1 ) p(x2 ) p( x2 ) p( x2 x1 ) p( x1 ) + p( x 2 x2 ) p( x 2 ) = 13 p(x1 ) 0 p(x2 ) p( x1 ) p(x2 ) =1 得 p( x1 ) 3 4 马尔可夫信源熵 H = p( x i ) p( x j x i ) log p( x j x i ) I J  x1 和 x2 的概率 p( x1 ) 和 p(x2 ) p( x2 ) 1 4 得 H=符号 2．设有一个无记忆信源发出符号 A 和 B，已知 p( A) 14 .p(B) 34 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源， 采