第3章 信息的度量.pptVIP

中国矿业大学信电学院 School of Information and Electrical Engineering, CUMT 2.2 自信息和互信息 2.2.1 自信息 随机事件的自信息量 是该事件发生概率 的函数，并且应该满足以下公理化条件： 1. 是 的严格递减函数。当 时， ，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。 2． 极限情况下当 =0时， ；当 =1时， =0。 3． 另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 中国矿业大学信电学院 School of Information and Electrical Engineering, CUMT 定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。设