[理学]第二章 信息的统计度量.pptVIP

解:三种情况都是求联合自信息，分别设为，其中x为红球 数，y为白球数 本章作业题 离散集的平均自信息量 4 可加性 随机变量X、Y构成联合事件集合XY,则二维随机变量（X,Y）的熵等于其中一个变量X(或者Y)的无条件熵加上一个变量Y(或者X)给定时的另一个变量X(或者Y)的条件熵. 或者: 多变量时: 当各个变量相互独立时有: 离散集的平均自信息量 证明: 联合集概率空间为: 其中: 离散集的平均自信息量 离散集的平均自信息量 5 极值性 离散集的熵值具有最大值: 利用前面的詹森公式可以很简单的证明这个性质: 条件(1) (2)λk为非负实数 (3) f(x)为上凸函数. 离散集的平均自信息量 即可得: 当且仅当每个事件等概率出现时等号成立. 6 确定性 当事件集合中只有一个事件为必然事件,其余全为不可能事件,则此时事件集合的熵为零. 离散集的平均自信息量 7 上凸性 H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的严格的上凸函数 证明:设 是俩个概率矢量,且 取0a1,则: 离散集的平均自信息量 第四节 离散集的其它熵及其关系 2.4.1 条件熵 定义2.4.1 联合集XY上,条件自信息I(yj|xi)的概率加权平均值定义为条件熵值.定义式如下: 2.4.2 联合熵(或称共熵) 定义2.4.2 联合集XY上,每对元素xiyj的自信息量的统计平均(加权平均)定义为联合熵.定义式如下: 2.4.3 各种熵值的关系 1 联合熵与信息熵、条件熵的关系 离散集的平均自信息量 当各个变量相互独立时有: 离散集的平均自信息量 2 联合熵与信息熵的关系 离散集的平均自信息量 可以得出: 推论: 3 条件熵与信息熵的关系(见P28-31例2.3.4) 熵的不增原理(条件熵不大于信息熵) 证明思路：试证明H(Y)-H(Y|X) ≥0 推论:联合熵不大于各信息熵的和： 离散集的平均自信息量 第五节 离散集的平均互信息量 互信息是通信问题中一个很重要的概念,通信(特别是数字通信)系统的输入和输出都可以看作离散符号集合,输入与输出之间的关联程度用互信息来衡量. 联合集XY={xiyj;xi∈X,yj∈Y,i=1,2,···m;j=1,2, ···,n} 二维联合概率为p(xiyj),且 离散集的平均自信息量 2.5.1 平均互信息量 定义2.5.1 互信息在XY联合空间上的统计平均值定义为平均互信息量.定义式如下: 其中: 或者: 简单说明: 离散集的平均自信息量 从通信的角度来看这个定义式,其中H(X)由概率p(xi)得出,可以看作是通信信源的不确定性,H(X|Y)由条件概率p(xi|yj)得出,可以看作是通信后在知道输出信号集合Y的情况下对信源X仍存在的不确定性,俩这之差就是通信过程中平均每个符号所获得的不确定性. * * 第二章 信息的统计度量 信息是信息理论中最基本的概念,信息的度量方法是借助于概率统计知识对信息进行计算,也即是概率信息. 本章主要内容: 1 自信息量与条件自信息量 2 互信息量与条件互信息量 3 离散集的平均自信息量 4 离散集的平均互信息量 5 连续随机变量的互信息和相对熵 第一节 自信息量与条件自信息量 自信息量与条件自信息量 通过一定的过程或手段,对随机信息源进行了解,从信息源获得信息.获得信息的同时减少了不确定性,信息源所包含的信息与随机信源存在的不确定性有关. 问题:随机事件包含信息,那么信息的多少称为信息量,如何度量呢? 2.1.1 自信息 定义2.1.1 任意随机事件所包含的信息多少称为自信息量,定义为该事件发生概率的对数的负值. 自信息量与条件自信息量 其中: 1) 2) I(ai)非负 ? 若事件集合X中的事件 的自信息： ★本书(以及通信理论中)当中,如无特殊说明,信息量的单位均默认为比特. 自信息量与条件自信息量 例2.1.1 甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？ 解： 这相当于求事件的不确定性 事件等概 例2.1.2 甲袋中有n(n+1)/2个不同阻值的电阻，其中1Ω的1个，2Ω的2个，……，nΩ的n个，从中随机取出一个，求“取出阻值为i（0 ≤ i≤ n）的电阻”所获得的信息量。 解： “取出阻值为i的电阻”的概率是多少？ 自信息量与条件自信息量 定义2.1.2 二维联合集XY上的元素( )的联合自信息量为: 式中: 为积事件, 为积事件或者元素 的二维联合概率. 其中: 自信息量与条件自信息量 例2.1.3 箱中有90个红球，10个白球，现从箱中随机取出两个球；求: (1)事件“