信息论举例讲解信息量熵及互信息量.pptVIP

第一页，共二十六页，2022年，8月28日 在上一次课中我们提到香农对信息定性的定义——事物运动状态或存在方式的不确定性的描述。事实上，香农对信息不仅作了定性描述，而且还进行了定量分析。 信源发出的消息常常是随机的，具有不确定性。如果信源中某一消息的不确定性越大，一旦发生，并为收信者收到，消除的不确定性就越大，获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关，概率越小，不确定性就越大。 研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。 第二页，共二十六页，2022年，8月28日 离散集自信息量的性质 因此，某事件x发生所提供的信息量I(x)应该是该事件发生的先验概率p(x)的函数: I(x)=f(p(x)) (4)当p(x)=0时，I(x)=∞:表示不可能事件一旦发生，信息量将无穷大。 且应满足以下四点： (1)I(x)应该是事件概率p(x)的单调递减函数； (2)信息量应具有可加性：对于两个独立事件，其信息量应等于各自信息量之和； (3)当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息； 第三页，共二十六页，2022年，8月28日 自信息量的计算公式 综合上述条件，在概率上已经严格证明了 自信息量的单