2012信息论第2章信息的统计度量.pptVIP

第二章 信息的统计度量 信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵是香农信息论最基本最重要的概念。 2.1 自信息量和条件自信息量 2.1.1自信息量 定义2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 小概率事件所包含的不确定性大，自信息量大。 大概率事件所包含的不确定性小，自信息量小。 概率为1的确定性事件，自信息量为零。 自信息量I xi 的性质 I xi 是非负值； 当P xi 1时， I xi 0； 当P xi 0时， I xi ∞ ； I xi 是P xi 的单调递减函数 例：袋内红、白球各50个,随意从袋中摸出一球。 例：袋内红球1个、白球7个,随意从袋中摸出一球。 联合自信息量 信源模型 涉及两个随机事件 定义2.1.2 二维联合集XY上的元素（xiyj）的联合自信息量定义为 其中p xiyj 为元素xiyj的二维联合概率密度。 2.1.2条件自信息量 定义2.1.3 联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为 条件概率对数的负值，在特定条件下 yj已定 随机事件xi发生所带来的信息量 联合自信息量和条件自信息量也满足非负和单调递减性。 预备知识复习 对数知识 Log xy logx+lo