几个基本概念自信息量定义其出现概率对数的负值。随机.pptVIP

回顾上一讲的主要内容 几个基本概念: 自信息量定义: 其出现概率对数的负值。随机事件的自信息量定义为 条件自信息量定义: 在事件yj出现的条件下，随机事件xi发生的条件概率p(xi / yj )，则它的条件自信息量定义为条件概率对数的负值： 离散信源熵(平均不确定度/平均信息量/平均自信息量/)定义: 条件熵定义 在给定Y（即各个yj）条件下，X集合的条件 熵H（X/Y）定义为 H（X/Y） 联合熵定义 联合熵是联合符号集合 XY上的每个元素对xiyj的自信息量的概率加权统计平均值。定义为 H（XY） 回顾内容 什么叫互信息量? 什么叫平均互信息量? 2.2.4 数据处理中信息的变化 证明: 图中：X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设：在Y条件下X与Z相互独立 而且 (2) 由式（＊）和（ ＊ ＊）得： I(X;Z)＋I(Y;Z/X) =I(Y;Z)＋I(X;Z/Y) 所以，有 I(X;Z)=I(Y;Z)＋I(X;Z/Y) -I(Y;Z/X) 2.2.5 熵函数的代数性质 非负性 H（X）＝H（x1，x2，…，xn）=0 其中：等号只有在n =1时成立。 证明： （1）因为 ，且在熵函数中，对数的底总是取大于1的数，则logp(xi)〈=0， -logp(xi) =0，（i=1,2,…,n）, 所以 在熵函数中，当 n=1 时, p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 证毕。 说明： （i）这就是熵函数的非负性。表明，从总体平均意义上讲，信源在发送符号以前，总是存在一定的不确定性；在发送符号后，总可以提供一定的信息量。 2．对称性 熵函数所有变元顺序可以任意互换，而熵函数的值不变。即 H（x1，x2，…，xn）＝ H（x2，x1，…，xn） ＝ H（xn，x1，…，x2） ＝ … 因为熵函数只与随机变量的总体结构有关，例如下列信源的熵都是相等的： 证明：由 根据加法交换律，熵函数所有变元顺序可以任意互换，而熵函数的值不变。 说明 (1)熵函数的对称性表明,信源的信息熵只与信源的概率空间的总体结构有关,而与各概率分量和各信源符号的对应关系,乃至各信源符号本身无关. (2) 概率空间的总体结构(概率分量数n)相同的信源,不论其信源符号是否相同,也不论其概率分量与信源符号的对应关系是否一致,其信源的信息熵均相等. 分析 概率分量数都等于3,概率空间都是由1/2,1/3,1/6这三个分量构成。由于这三个信源的概率空间的总体结构相同,所以他们的信息熵相等. 即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2) =H(1/2,1/3,1/6) =1.4592 比特/信源符号 3. 确定性 若信源X的概率空间中任意一概率分量等于1时,其它所有概率分量均等于零,即 则信源X的信息熵一定等于0,即 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} =0 说明 当信源任意一个符号几乎必然出现时,其它符号几乎不可能出现,这个信源是一个确知信源.在发符号前,不存在不确定性;在发符号后,不提供任何信息量. 当任意一个概率分量等于1时,才能使信源信息熵等于0. 4．香农辅助定理 对于任意两个n维概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立: 5．最大离散信源熵定理 给定离散无记忆信源输出n个不同的信息符号，离散信源的n个概率分量p1, p2,…,pn , 当且仅当各个符号出现概率相等时（即pi