2014.信息论.第2节信息的统计度量.pdf

第二章 信息的统计度量 信息的可度量性是信息论建立的基础 ； 香农的信息论用事件发生概率的对数来 描述事件的不确定性 ，得到消息的信息 量 ，建立熵的概念 ；熵熵是香农信息论最 基本最重要的概念。 1 2.1 自信息量和条件 自信息量 2.1.1自信息量 – 定义2.1.1 任意随机事件的自信息量定义为该 事件发生概率的对数的负值 。 • 小概率事件所包含的不确定性大 ，自信息量大。 • 大概率事件所包含的不确定性小 ，自信息量小。 • 1 概率为 的确定性事件 ，自信息量为零。 2 • 对数基础知识 log(xy)=logx+logy log(x/y)=logx-logy 3 – 自信息量I(x )的性质 i • I(x )是非负值 ； i • 当P(x ) = 1时 ，I(x )=0 ； i i • 当P(x ) =0时 ，I(x )= ∞ ； i i • I(x )是P(x ) 的单调递减函数 i i 4 – 例 ：棋盘共8列 ，甲随手一放 ，将一枚 棋子放在了第3列。 5 – 50 , 例 ：袋内红、白球各 个 随意从袋中 摸出一球。 6 – 1 7 , 例 ：袋内红球 个 、白球 个 随意从袋 中摸出一球。 7 – 联合 自信息量 • 定义2.1.2 二维联合集XY上的元素 （x y ） i j 的联合 自信息量定义为 其中p (x y )为元素x y 的二维联合概率。 i j i j 8 设在一正方形棋盘上共有64个方格 ，将方格分别按行和列 编号。如果 甲将一粒棋子随意地放在棋盘中的某方格且让 乙猜测旗子所在位置 ； yj x y