信息论信息统计度量精编.pptVIP

第二章信息的统计度量 信息的可度量性是信息论建立的基础; 香农的信息论用事件发生概率的对数来 描述事物的不确定性,得到消息的信息 量,建立熵的概念;熵是香农信息论最 基本最重要的概念。  2.1自信息量和条件自信息量 2.1.1自信息量 一定义211任意随机事件的自信息量定义为该 事件发生概率的对数的负值。 k- t -kgkxRkg-AA Ax) 小概率事件所包含的不确定性大,自信息量大。 大概率事件所包含的不确定性小,自信息量小 概率为1的确定性事件,自信息量为零。  (q =kg/) 自信息量I(x)的性质 I(x)是非负值; 当P(x)=l时,I(x1)=0; 当P(x)=0时,I(x)∞ I(x)是P(x)的单调递减函数  例:袋内红、白球各50个,随意从袋中 摸出一球。 其工k 二k  例:袋内红球1个、白球7个,随意从袋 中摸出一球。 且量型均B 页型,  联合自信息量 信源模型(涉及两个随机事件) e-/y)-/2y Q)2》x) 定义21.2二维联合集XY上的元素(xy)的联合 自信息量定义为 其中p(xy)为元素xy的二维联合概率密度  设在一正方形棋盘上共有64个方格,将方格分别按行和列 编号。如果甲将一粒棋子随意地放在棋盘中的某方格且让 乙猜测旗子所在位置  由于甲是将一粒旗子随意地放在棋盘中某一方格内,因此 棋子在棋盘中所处位置为二维等概率分布。二维概率分布 函数为p(xy)=164,故 在二维联合集XY上的元素x的联合自信息量为  2.1.2条件自信息量 定义2.1.3联合集XY中,对事件x和y,事件x在事 件y给定的条件下的条件自信息量定义为 条件概率对数的负值,在特定条件下y已定)随机事 件x发生所带来的信息量 联合自信息量和条件自信息量也满足非负和单调递 减性。  设在一正方形棋盘上共有64个方格,将方格分别按行和列 编号。如果甲将一粒棋子随意地放在棋盘中的某方格且让 乙猜测旗子所在位置