信息论与编码zjh201209习题讲解(第二章)zjh.ppt

2-1 2-2 2-3 解： (1)P（3,5）= 1/36+1/36= 1/18 I （3,5）= log18 = 4.17 bit (2)P（1,1）= 1/6*1/6= 1/36 I （1,1）= log36 = 5.17 bit (3)H（X）=1/36*6*log36+2/36*15*log18 =4.337 bit (4)H（X）=2*(1/36*log36+2/36*log18 +3/36log12+4/36log9+5/36log36/5)+6/36log6 =3.274bit (5) I(1,X)=log36/11=1.7105bit 2-4 设在一只布袋中装有100只对人手感觉全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列3中情况： （1）红色球和白色球各50置； （2）红色球99只，白色球1只； （3）红、黄、蓝、白色各25只。 求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。 分析 取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。 根据H（X）的定义，就可求出。 解答 根据定义 H（X）= - 得：随意取出一球时，所需要的信息量为 （1）P（红）= P（白）=1/2 H（X）= = 1比特 （2）P（白）= 1/100 P（红）= 99/100 所以 H（X）= = 0.08比特 2-5 解：设事件v为女孩是大学生，事件u为身高1.6米以上的女孩，由题意可知： P(v)=0.25,P(u/v)=0.75,P(u)=0.5 因为：P(v/u)=P(u,v)/P(u) = P(v) P(u/v)/ P(u) =(1/4*3/4)/(1/2)=3/8 所以： I(v/u)=log(8/3)=1.42bit 2-6 2-7 解： 每个符号携带的自信息量： I(0)=－log3/8=1.42bit, I(1)=－log1/4=2bit I(2)=－log1/4=2bit, I(3)=－log1.8=3bit (2)消息序列的自信息量： I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号 2-8 解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=3 2-9 解： (1)I(点)=log(4/3)=0.42 I(划)=log4=2 (2)平均信息量： H(X)=1/4log4+3/4log(4/3)=0.81 2-10 解：不确定度即为H(X) (1)H(X)=1/3log3+2/3log(3/2) =0.39+0.53=0.92bit (2)H(Y/x1)=－P(y1/x1)log P(y1/x1) －P(y2/x1)logP(y2/x1) =4/14log(14/4)+10/14log14/10 =0.346+0.516=0.86bit (3)H(Y/x2)=5/14log(14/5)+9/14log(14/9) =0.41+0.53=0.94bit (4)H(Y/X)=1/3*0.86+2/3*0.94=0.92bit 2-11 解： (1)H(colour)=2/38log19+2*(18/38)log(38/18) =0.22+1.02=1.24bit (2)H(colour,number)=H(number)=log38 =5.25bit (3)H(number|colour)=H(c,n)-H(c) =5.25-1.24=4.01bit 2-