信息论习题.pptVIP

* 2．6 设离散无记忆信源 ，其发出 的消息为(202120130213001203210110321010021032011 223210)，求： (1)此消息的自信息是多少？ (2)在此消息中平均每个符号携带的信息量是多少? 解：P(?)=P(a1)14 P(a2)13 P(a3)12 P (a4) 6 (1) (2)平均每个符号携带的信息量 2.9 设信源 求这信源的熵，并解释为什么H(X)＞log 6，不满足信源熵的极值性。 解：H (X)≈2.655(bit/符号), log 6 ≈2.58(bit/符号) H (X) log 6 不满足信源熵的极值性 原因是： ，信源不满足概率容许条件 2．14 每帧电视图像可以认为是由3×105个像素组成，像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?若现有—广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)?若要恰当地描述此图像，广播员在口述中至少需用多少汉字? 解： 要恰当地描述此图像，广播员在口述中所需汉字： 2．15 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5ms。 (1)不同字母等概率出现时，计算传输的平均信息速率? (2)若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）H(X) = log4 = 2 (bit/符号) 传输的平均信息速率： Ht= H(X) /T = 2 (bit/符号) /2*5 ( ms /符号) = 200(bit/s) （2） H(X) = 1.985 (bit/符号) 传输的平均信息速率 Ht = H(X) /T = 1.985 (bit/符号) /2*5 ( ms /符号) = 198.5(bit/s) 2．18 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6的概率发出符号。 (1)试问这个信源是否平稳的? (2)试计算H(X2)，H(x3/x1x2)及1imHN(X)。 (3)试计算H(X4)，并写出X4信源中可能有的所有符号。 解：（1）平稳信源 （2） H(X) = H(0.4, 0.6) = 0.971 (bit/符号) H(X2) =2 H(X) = 1.942 (bit/符号对) H(X3/X1X2)= H(X) = 0.971 (bit/符号) 1imHN(X) = H(X) = 0.971 (bit/符号) （3） H(X4) = 4 H(X) = 3.884 (bit/符号序列) X4 中所有可能的符号（序列）为： 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 2．21 设有一信源，它在开始时以P(a)=0.6，P(b)=0.3，P (c) =0.1的概率发出X1 ，如果X1为a时，则X2 为 a 、b 、c的概率为1/3；如果X1为b时，则X2 为 a 、b 、c的概率为1/3 ；如果X1为c时 则X2 为 a 、b 的概率为1/2，为c 的概率为0。而且后面发出Xi的概率只与Xi-1有关，又P(Xi /Xi-1)＝P(X2 /X1 ) i?3。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H?。 解：开始时 P(a)=0.6，P(b)=0.3，P (c) =0.1 发第2个符号：P(a/a)=P(b/a)=P (c/a) = 1/3 P(a/b)=P(b/b)=P (c/b) = 1/3 P(a/c)=P(b/c)=1/2