习题(聊城大学).pptVIP

* * * * * * 习题讲解 1、证明 若 则 并说明等式的物理意义 证明： 等式的物理意义：此等式就是信息熵的递增性，它 表明：若原信源（L个符号等概率分布为p1,p2,…pL） 中有一元素分割成m个元素，而这m个元素的概率之 和等于原元素的概率，则新信源的信息熵增加。熵所 增加的一项就是由于分割而产生的不确定性量。 解：设事件A为女孩是大学生；设事件B为女孩身高1.6米 以上，根据题意可知 P(A)＝0.25 P(B)＝0.5 P(B/A)=0.75 “身高1.6米以上的某女孩是大学生”这消息表明是在B事件 发生的条件下，A事件发生。所以其概率为 P(A/B). 则 则得知“身高1.6米以上的某女孩是大学生”这消息后能获得的信息量为 此消息总共有14个0、13个1、12个2、6个3，因此此消息 发出的概率是： 此消息的信息量是： 2.6 或 (2) 此消息中平均每符号携带的信息量是： (3)信息熵 由上可知（2）中所求为此消息中平均每个符号携带的信息 量，而（3）中所求为离散无记忆信源的信息熵即为离散无 记忆信源平均每个符号携带的信息量。 H(X)与I只是近似相等，不是完全等同。这是因为I是在特定 的此消息中求得的，此消息是离散无记忆信源X发出的一特 定的消息，在此特定消息中各个符号“0”、“1”、“2”、“3”出 现的给率并不完全等于信源X中各个符号出现的概率，所以 存在有差异。由此可理解，信源的信息熵是一统计量，是表 征信源的总体信息测度的。 2.9 2.13 (1)每个象素亮度所含的信息量为： 每帧图像所含的信息量为： 每秒钟的信息率为： 2.13 (2)每个象素色度所含的信息量为： 亮度和色度彼此独立 第二章习题 2.18 (1)是平稳的 (2) (3) 0000,0001,0010,0011,0100,0101,0110,0111 1000,1001,1010,1011,1100,1101,1110,1111 第二章习题 2.22 (1) 解得： 第二章习题 2.22 (2) （3）： 第二章习题 2.22 (4) 求导数得： 第二章习题 2.22 (4) 当p＝0： 当p＝1： 第二章习题 2.24 图应改为： （1） 得： （2） （3） 2.25 1 1 黑 白 (1)假设黑白气象传真图上黑白消息出现的前后没有关联，则 等效于一个离散无记忆信源，信源概率空间为 信源的信息熵 黑 白 (2)设最后平稳概率为 由题意可知转移概率矩阵为 白 黑  P= 得W(白)=0.7 W（黑）=0.3 H(Y/白)= H(Y/黑)= 此为一个一阶马尔可夫信源，则熵为 H2=W（黑）*H(Y/黑)+ W(白)*H(Y/白)=0.3*0.722+ 0.7*0.422＝0.512比特/符号 第三章 3.1 (1) (2) 第三章 (3) (4) (5) 第三章 3.3 (1) (2) 第三章 3.9 (1) 10秒钟能传的最大信息量 不能传输