离散信源熵 - read.pptVIP

信息论与编码 信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度 信源的分类 离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 信源的描述 一个离散信源发出的各个符号消息的集合为： 马氏链的基本概念 符号 状态 例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率 稳态分布概率 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 2.2.1 自信息量 设离散信源X，其概率空间为 自信息量 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 自信息的单位的确定 在信息论中常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det) 1 nat＝log2e ≈ l.433 bit， l det＝log210≈3.322 bit 自信息量 不确定度 定义： 随机事件的不确定度在数量上等于它的自信息量。 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 自信息量 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这两个符号的自信息量为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit 自信息量 I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合信息量等于它们分别的信息量之和。 即统计独立信源的信息量等于它们分别的信息量之和。 自信息量 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小； 一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； 若是确定性事件，出现概率为1，则它包含的不确定度为0。 自信息量 联合自信息量 两个消息xi，yj同时出现的联合自信息量 自信息量 条件自信息量 在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi | yj) ，则它的条件自信息量定义为条件概率对数的负值： 例 2-3 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。 分别计算它们的自信息量。 2.2.2 离散信源熵 例 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意,这一随机事件的概率空间为 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的次数为np(x1)次，白球出现的次数为 np (x2)次。随机摸取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2) 平均自信息量 平均随机摸取一次所获得的信息量为 离