北邮信息论课件离散信息的度量.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * ★ 定理： 对于固定的概率分布p x ，I X;Y 为条件概率p x|y 的下凸函数。 证明思路： 续 例 解： 这是一个下凸函数 I X；Y ≦H X I X；Y ≦H Y ★ 极值性： 平均条件互信息 ★ 设联合集XYZ，Z条件下，X与Y之间的平均互信息： ★ 定理：平均条件互信息是非负的： 证明： ★ 定理： 设Y、Z为独立随机变量集合，其中Y含n个事件,Z含k个事件，则联合集YZ含nk个事件。Z集合可看成YZ集合中某些事件的合并处理，由nk个事件合并成k个事件。 1）随机事件合并后，获得的信息量减少； 2）如果YZ为二维取值空间，则Z的取值空间是对YZ取值空间的合并，而YZ取值空间是对Z或Y取值空间的细化。可见，通过对取值空间的细化，可使获得的信息量增加。 本 章 小 结 ★ 自信息的平均值为熵 ★ 条件自信息的平均值为条件熵 ★ 联合自信息的平均值为联合熵 ★ 互信息的平均值为平均互信息 ★ 条件互信息的平均值为平均条件互信息 本 章 小 结 ★ 熵的可加性 ★ 平均互信息与熵的关系 ★ 离散熵与平均互信息都具有非负性 ★ 离散最大熵定理 ★ 平均互信息的凸函数性质 平均互信息为输入概率的上凸函数，为条件概率的下凸函数 * * * * * * * * * * * * * * * * * * * * * * * 信息熵的计算 ★定理2.1 离散信源的熵等于所对应的有根概率树上所有节点 包括根节点，不包括叶 的分支熵用该节点概率加权的和，即 其中，q ui 为节点ui的概率，H ui 为节点ui的分支熵。 2.6 例 条件熵 ★ 条件熵：联合集XY上，条件自信息I y|x 的平均值 2.7 例 随机变量X和Y，符号集均为 0，1 解： 求H Y|X 联合熵 ★ 联合熵：联合集XY上，对联合自信息I xy 的平均值 2.7 续 例 由已知条件可得XY的联合概率分布，如下表所示 解： 求H XY Y p xy 0 1 X 0 1 0 熵的基本性质 ★ 凸函数 ★ 信息散度 ★ 熵的基本性质 ★ 各类熵的关系 ★ 熵函数的唯一性 凸函数 下面我们来定义凸函数 LOOK一下 ★ 对于α 0≤α≤1 及任意两矢量x1,x2，有 f[αx1+ 1-α x2]≥αf x1 + 1-α f x2 上凸函数 cap x1 x2 若当且仅当x1 x2或α 0,1时等式成立 严格上凸函数 ★ 对于α 0≤α≤1 及任意两矢量x1,x2，有 f[αx1+ 1-α x2]≤αf x1 + 1-α f x2 下凸函数 cup x1 x2 若当且仅当x1 x2或α 0,1时等式成立 严格下凸函数 ★ 定理 ： f x 是区间上的实值连续严格上凸函数 任意一组x1,x2,…,xq λ1,λ2,…,λq，∑λk 1 当且仅当x1 x2 … xq或λk 1（1 ≦k≦ q）且λj 0（j ≠k）时，等式成立 Jenson不等式 证 利用数学归纳法。根据上凸函数的定义有 f[αx1+ 1-α x2]≥αf x1 + 1-α f x2 其中0 α 1 ，即q 2 时成立。 今假定 q n 成立。现考虑 q n+1 的情况 设 , 令 , 则 , 当且仅当x1 x2 … xq或λk 1（1 ≦k≦q）且λj 0（j ≠k）时，等式成立。 ★ 特别地，当xk为离散信源符号的取值，λk为相应的概率，f x 为对数函数时，有 ★ 对于一般的凸函数有 1）在某区间的二阶导数小于0，则在此区间内为严格上凸函数。 2）利用Jenson不等式 ★ 上凸函数的判定方法 下面介绍另一个有用的不等式 对于任意x，有： 这是怎么得来的？ ① x 1为稳定点 ② x 1时，2阶导数小于0 x 1处有极大值 y换成x 信息散度 ★ P和Q为定义在同一概率空间的两个概率测度，则P相对于Q的散度： 上式中，概率分布的维数不限，可以是一维，也可以是多维。 ★ 定理：如果在一个共同的有限字母表的概率空间上给定的两个概率测度P x 和Q x 当且仅当对所有x, P x Q x 时,等式成立 熵的基本性质 1 ★ 对称性： ★ 非负性： ★ 扩展性： ★ 可加性： p p1,p2,…,pn 中，各分量的次序可以任意改变 自信息非负，熵为自信息的平均 熵非负 即：小概率事件对熵的影响很小，可以忽略 H XY H X + H Y|X H X1X2…XN H X1 + H X2|X1 + … + H XN|X1…XN-1 复合事件集合的不确定性为各个分事件集合的