zyw 2信息熵和互信息.pptVIP

第二章 信源及其信息测度 第一节 信源的数学模型和分类 本章重点 离散/连续信源熵 第一节 信源的数学模型和分类 第一节 信源的数学模型和分类 第一节 信源的数学模型和分类 第一节 信源的数学模型和分类 第一节 信源的数学模型和分类 第一节 信源的数学模型和分类 第二节 离散信源熵 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 第二节 离散信源熵 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 2.2 自信息量 定义：一个随机事件的自信息量定义为其出现概率对数的负值。即: 2.2 自信息量 自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。 这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit 几个例子 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit 2.2 自信息量 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 2.2 自信息量 两个消息ai，bj同时出现的联合自信息量 注意: 当ai,bj相互独立时，有P(aibj)=P(ai)P(bj)，那么就有 I(aibj)=I(ai)+I(bj)。 aibj所包含的不确定度在数值上也等于它们的自信息量。 2.2 自信息量 定义：在事件bj出现的条件下，随机事件ai发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值： 例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit 例 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为 2.2离散信源熵 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中：a1表示摸出的球为红球事件，a2表示摸出的 球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（a1）= -log2p（a1）= - log20.8 bit 如果摸出的是白球，则获得的信息量是 I（a2）= -log2p（a2）= -log20.2 bit 说明： 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[nP（a1）I（a1）+nP（a2）I（a2）] = -[P（a1）log2P（a1）+P（a2）log2P（a2）] 因为X中各符号xi的不确定度I（ai）为非负值，P（ai）也是非负值，且0 P（ai）1，故信源的平均不确定度H（X）也是非负量。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值