信息论基础 3.pptVIP

信息论基础;已知单符号离散信源的数学模型：;注意： 信源熵和平均自信息量两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源的不确定度所需要的信息的度量;;; 当二元信源符号0和1以等概率出现时，信源熵达到极大值，等于1bit信息量。;条件熵;条件熵;;Bit/符号;联合熵; 熵的性质;(3) 确定性。若信源概率空间具有确定性概率分布，则熵函数等于0。 即在概率分布中某一概率pi=1，而其余概率等于0时，H(P)= H( p1, p2,…, pK) = 0 (4) 非负性。 H(P)= H( p1, p2,…, pK) ≥ 0 (5) 可加性。 H(XY) = H(X) + H(Y |X ) = H(Y) + H(X |Y ) 当X和Y相独立时H(XY) = H(X) + H(Y)。 可加性可进一步推广到N个随机变量的情形：;H(X1X2···XN) =H(X1)+H(X2|X1)+H(X3|X1X2)+ ···+H(XN|X1X2 ···XN-1);;(8) 香农不等式成立。; 令f (x)=ln x – (x-1) ，则 f ?(x)=1/x –1。 可见当x=1时，f ?(x)=0，它是f (x)的极值点，f (1)=0 且由于f ??(x)=-1/x2 ? 0 ，故此极值为极大值。 所以有 f (x) ? f (1)=0 ，当且仅当x=1时取等号。 这时 f (x)=ln x-(x-1)? 0 ，所以 ln x ? x-1。;香农不等式证明： 令 x = qk / pk 则有;;(9) 极值性。 H( p1, p2 ,···, pK) ? H( 1/K, 1/K ,···, 1/K) = logK。 表明等概率信源的不确定性最大，具有最大熵。 对于具有K个符号的离散信源，只有在K个信源符号等可能出现的情况下，信源熵才能达到最大值。这也表明等概率分布信源的平均不确定性为最大。这是一个很重要的结论，称为最大离散熵定理。 ;化简：;加权熵;加权熵的定义;加权熵的性质;加权熵的性质; 它的含义是：只包含一个试验结果的事件是确定事件，没有任何随机性，尽管发生的事件是有效用或有意义的，仍然不能提供任何信息量。; 这一性质说明，如果可能的事件是无意义或无效用的，而有意义或有效用的事件是不可能的，这时的香农熵不为零，但其提供的加权熵等于零。; 加权熵的扩展性表明，增加一个有效用或有意义很大但不可能发生的消息，其信源的加权熵值不变。同理，增加s个有效但不可能发生的消息，信源提供的信息量也不变。;;;平均互信息量;;平均互信息量;平均互信息量的物理意义;;平均互信息量的物理意义;平均互信息量的物理意义;本讲结束