第3章_离散信源()题与答案.docxVIP

其概率空间为 ；X L X1 = 0 X2 =1 X3 = 2 X4 = 3 Jp(X)j 、3/8 1/4 1/4 1/8 : 离散无记忆信源 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： 此消息的自信息量是多少？ 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是： 此消息的信息量是：I二-log p =87.811 bit ⑵此消息中平均每符号携带的信息量是: ⑵ 此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bit 3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为 ;x 口0 1: ]P(X)」J/4 3/4： 求信息符号的平均熵； ⑵ 由100个符号构成的序列，求某一特定序列(例如有 m个“0”和(100 - m个“1”) 的自信息量的表达式； ⑶计算⑵中序列的熵。 解： (1) 丁 133、 H(X)二一 p(X|) log p(X|) log log 0.811 bit z -m 100 -mg z -m 100 -m g盯(4〕 100 -m 3 —,100 4 3〔00 -m l(xj - -log p(xj - -log 10厂=41.5 1.585m bit 4 H(X100) =100H(X) =100 0.811 =81.1 bit 3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列 题表3.2 信源 U0 U1 U2 U3 P 1/2 1/4 1/8 1/8 代码 0 10 110 111 求信息的符号熵； 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序 列中的一个二进制码的熵； 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现 0和1的无条件概率Po和Pi，求相邻码间的条件概率Po/1、Pl/0、Pi/1、Po/o。 解： (1) 「1 1 1 1 1 1 1 1 \ H(X) - p(xjlogp(x) log log log log 1.75 bit (2 2448888 丿 ⑵ TOC \o 1-5 \h \z - 丁 1111 L =E(h)=為 p(x)h 1 ——2 — 3 — 3=1.75 i 2 4 8 8 1 1 Hn(X) H (X) H(X) =1 bit N L 设消息序列长为 N，则u0、u1、u2、u3的个数分别为 N/2, N/4, N /8, N/8个。 N N N N 7N 则0的个数为一 1 — 1 — 1 — 0 =—— 4 8 8 8 N N N N 7N 而1的个数为 0 1 2 3 = 4 8 8 8 因而 p0 = p1 = 0.5 P0/1 二 P P0/1 二 P10 / P1 =屮 P0/0 = P00 / P0 P1/0 二 p01 / p1 二 2__2 1 P1/1 二 p11 / p1 3.7设有一个信源，它产生0, 1序列的信息。该信源在任意时间而且不论以前发生过什么消 息符号，均按P(0) = 0.4 ，P(1) = 0.6 的概率发出符号。 (1)试问这个信源是否是平稳的； ⑵ 试计算 出乂)，H(X3/XiXQ及Hs 试计算 出乂)并写出乂信源中可能有的所有符号。 解： ⑴ 这个信源是平稳无记忆信源。因为有这些词语： “它在任意时间而且不论以前发生过什么符号 ⑵ 2 H(X ) =2H(X) 一2 (0.4log0.4 0.6log0.6) =1.942 bit H(X3/X!X2)=H(X3)-八 P(xjlog p(xj (0.4log0.4 0.6log0.6) =0.971 bit i H 一- 二 lim H(Xn/X!X2...Xni^ H(Xn^0.971 bit -N _^O ⑶ H(X4) =4H (X) —4 (0.4log 0.4 0.6log 0.6) = 3.884 bit X4的所有符号： 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 3.11有一马尔可夫信源，已知转移概率为 p(S/S1)=2/3， p(S2/S)=1/3，p(S/S2)=1， P(S2/S2)= 0。试画出状态转移图，并求出信源熵。 解: P(S1)= p(Si ) p(Sl / S1)+ p(S2) p(S1 / S2) p( S2) = p(S2)p(S2 / S2 ) + p( S ) p(S2 / Sj )