第二章 信息的统计度量.pptVIP

离散集的平均自信息量1对称性概率空间当中,P=[p1,p2,…,pr]中各概率分量的次序任意变更时,其熵值不变.2非负性当且仅当概率空间中有一个符号的概率为”1”,其他所有概率为”0”时,等号成立.或者说成确定概率空间的熵为”0”.第29页，共51页，星期日，2025年，2月5日离散集的平均自信息量3扩展性这个性质的含义是,若符号集合X有q个事件,如果将这个符号集合扩展成为有q+1个事件的符号集合,这第(q+1)个事件可以看作是在第q个事件分离出来的概率为ε→0的事件,这样扩展后的集合的熵值不会发生变化.或者说,一个事件集合中如果某事件的概率和其它事件概率相比很小时,它对整个集合熵值的影响可以忽略不计.第30页，共51页，星期日，2025年，2月5日离散集的平均自信息量4可加性随机变量X、Y构成联合事件集合XY,则二维随机变量（X,Y）的熵等于其中一个变量X(或者Y)的无条件熵加上一个变量Y(或者X)给定时的另一个变量X(或者Y)的条件熵.或者:多变量时:当各个变量相互独立时有:第31页，共51页，星期日，2025年，2月5日离散集的平均自信息量证明:联合集概率空间为:其中:第32页，共51页，星期日，2025年，2月5日离散集的平均自信息量第33页，共51页，星期日，2025年，2月5日离散集的平均自信息量5极值性离散集的熵值具有最大值:利用前面的詹森公式可以很简单的证明这个性质:条件(1)(2)λk为非负实数(3)f(x)为上凸函数.第34页，共51页，星期日，2025年，2月5日离散集的平均自信息量即可得:当且仅当每个事件等概率出现时等号成立.6确定性当事件集合中只有一个事件为必然事件,其余全为不可能事件,则此时事件集合的熵为零.第35页，共51页，星期日，2025年，2月5日离散集的平均自信息量7上凸性H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的严格的上凸函数证明:设是俩个概率矢量,且取0a1,则:第36页，共51页，星期日，2025年，2月5日第1页，共51页，星期日，2025年，2月5日第一节自信息量与条件自信息量自信息量与条件自信息量通过一定的过程或手段,对随机信息源进行了解,从信息源获得信息.获得信息的同时减少了不确定性,信息源所包含的信息与随机信源存在的不确定性有关.问题:随机事件包含信息,那么信息的多少称为信息量,如何度量呢?2.1.1自信息定义2.1.1任意随机事件所包含的信息多少称为自信息量,定义为该事件发生概率的对数的负值.第2页，共51页，星期日，2025年，2月5日自信息量与条件自信息量其中:1)2)I(ai)非负?{{若事件集合X中的事件的自信息：★本书(以及通信理论中)当中,如无特殊说明,信息量的单位均默认为比特.第3页，共51页，星期日，2025年，2月5日自信息量与条件自信息量例2.1.1甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？解：这相当于求事件的不确定性事件等概例2.1.2甲袋中有n(n+1)/2个不同阻值的电阻，其中1Ω的1个，2Ω的2个，……，nΩ的n个，从中随机取出一个，求“取出阻值为i（0≤i≤n）的电阻”所获得的信息量。解：“取出阻值为i的电阻”的概率是多少？第4页，共51页，星期日，2025年，2月5日自信息量与条件自信息量定义2.1.2二维联合集XY上的元素()的联合自信息量为:式中:为积事件,为积事件或者元素的二维联合概率.其中:第5页，共51页，星期日，2025年，2月5日自信息量与条件自信息量例2.1.3箱中有90个红球，10个白球，现从箱中随机取出两个球；求:(1)事件“两个球中有红、白球各一个”的不确定性；(2)事件“两个球都是白球”所提供的信息量；(3)事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？解:三种情况都是求联合自信息，分别设为，其中x为红球数，y为白球数(1)第6页，共51页，星期日，2025年，2月5日自信息量与条件自信息量(2)事件“两个球都是白球”所提供的信息量；(3)事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？因为,所以事件”俩个都是白球”的可能性更小,其发生更难猜测.第7页，共51页，星期日，2025年，2月5日自信息量与条件自信息量2.1.2