信息论基础 3[精选].pptVIP

信息论基础 第 三 讲 已知单符号离散信源的数学模型： 注意： 信源熵和平均自信息量两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源的不确定度所需要的信息的度量 信源熵有三种物理含义： （1）信源熵H(X)表示信源输出后，每个离散消息所提供的平均信息量。 （2）信源熵H(X)表示信源输出前，信源的平均不确定度。 （3）信源熵H(X)反映了变量X的随机性。 条件熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y取yj的条件下，随机变量X的条件熵H(X/yj)的定义为： 条件熵 在已知随机变量Y的条件下，随机变量X的条件熵H(X/Y)的定义为： 联合熵 熵的性质 加权熵 加权熵的定义 加权熵的性质 加权熵的性质 3. 对称性 加权熵的对称性指的是信源概率及相应重量的顺序任意互换时，加权熵的值不变。 平均互信息量 平均互信息量 平均互信息量的物理意义 平均互信息量的物理意义 平均互信息量的物理意义 本讲结束 我们已经给出了平均互信息的三种不同形式的表达式： * * 信源熵 我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信源熵，或信息熵，香农熵，无条件熵。简称为熵，记为： 信息熵，它的实质上是对无记忆信源平均不确定度的度量。 当二元信源符号0和1以等概率出现时，信源熵达到极大值，等于1bit信息量。 上式是仅知某一个Y的yj取值时X的条件熵，它随着yj的变化而变化，仍然是一个随机变量。已知所有的yj(j=1,2,…,m)时，X任然存在不确定度。 相应地，在已知随机变量X的条件下，随机变量Y的条件熵H(Y/X)的定义为： Bit/符号 熵有如下一些性质： (1) 对称性。 H( p1, p2 ,···, pK) 是( p1, p2 ,···, pK)的对称函数。 即H( p1, p2 ,···, pK)＝H(pσ(1), pσ(2) ,···, p σ(K)) 其中{σ(1), σ(2) ,···, σ(K)}是{1,2,···,K}的任意置换。 (2) 可扩展性。 加入零概率事件不会改变熵。 即H( p1, p2 ,···, pK) = H( 0, p1, p2 ,···, pK) = H( p1,···pi ,0, pi+1 ···, pK) = H( p1, p2 ,···, pK ,0) (3) 确定性。若信源概率空间具有确定性概率分布，则熵函数等于0。 即在概率分布中某一概率pi=1，而其余概率等于0时，H(P)= H( p1, p2,…, pK) = 0 (4) 非负性。 H(P)= H( p1, p2,…, pK) ≥ 0 (5) 可加性。 H(XY) = H(X) + H(Y |X ) = H(Y) + H(X |Y ) 当X和Y相独立时H(XY) = H(X) + H(Y)。 可加性可进一步推广到N个随机变量的情形： H(X1X2···XN) =H(X1)+H(X2|X1)+H(X3|X1X2)+ ···+H(XN|X1X2 ···XN-1) 记XN = X1X2···XN，则上式可表示为： 当X1,X2,···,XN 相独立时 H(X1X2···XN) =H(X1)+H(X2)+H(X3)+ ···+H(XN) (6) 渐化性(递增性)。 若原信源X中有一符号分割成i个符号构成新信源，而这i个符号的概率之和等于原符号的概率，则新信源的熵增加。以上六个性质的证明可直接使用熵函数的定义。 (8) 香农不等式成立。 (7) 凸状性。 H( p1, p2 ,···, pK) 是( p1, p2 ,···, pK) 的上凸函数。 其中等号成立的条件是 pk = qk (k=1,2,···K) 此不等式的证明要用到一个数学上的常用不等式：对任意的实数x 0有：ln x ? x-1 。 令f (x)=ln x – (x-1) ，则 f ?(x)=1/x –1。 可见当x=1时，f ?(x)=0，它是f (x)的极值点，f (1)=0 且由于f ??(x)=-1/x2 ? 0 ，故此极值为极大值。 所以有 f (x) ? f (1)=0 ，当且仅当x=1时取等号。