信息理论与编码第2章.ppt

2) 限峰功率最大熵定理 连续信源X的概率分布为正态分布 限峰功率最大熵 nat/消息 高斯白噪声是正态分布 例1 500×600 像素点，10个灰度等级，各种画面等可能出现，则有 n画面 H(X) = log n = lg=3×105det/画面 = 3.322×3×105 bit/画面 用10000字表写 1000字文，各种1000字文等可能出现 则有 n =100001000=104000篇， H(X) = lg n = lg 104000 = 4000 det/千字文 = 3.32×4×103 bit/千字文 例2 二元符号信源{0，1} 当符号0 的概率 p(0) =p ，则 p(1) =1-p 因此有 H(X)= -[p log p +(1-p ) log (1-p )] H(X)是p的函数，当 p ? [0,1] , 求H(X)的最大值 可得 p=0.5时, H(X)有最大值， H(X)=1 bit / 信源符号 例3 已知信源 求H(X) X p(xi) -log p(xi) -p(xi) log p(xi) x1 9/16 0.830 0.467 x2 3/16 2.415 0.453 x3 3/16 2.415 0.453 ? x4 1/16 4 0.250 H(X)= ∑ (-P log P) = 1.632 bit / 信源符号 2.3.2 熵的数学性质 离散信源消息 X=｛ x1，x2，…xn ｝ 2. 非负性 H( X )≥0 1. 对称性 H ( x1，x2，…xn )= H (x2， x1， …xn ) 3. 扩展性 H ( x1，x2，…xn ， xn+1 ) 若 p(xn+1) ?0 则 H ( x1，x2，…xn ， xn+1 ) = H ( x1，x2，…xn ) 4. 确定性 离散信源X中只要有一消息的概率为1，则 H( X )=0 5. 极值性（最大熵定理） 离散信源X中有 n 个不同的消息，则信源熵有最大值 的充要条件是各个消息为等概率分布 p(xi) =1/n 。 该最大值为 H( X )=log n 6. 上凸性 H (x1, x2, … , xn )是概率分布P= {p(x1), p(x2) ,· · · , p( xn)} 的严格上凸函数。 极值性证明： 1) 对于任一实数 x 0，有 成立。 令 当 x 0 时，f(x) 是 x 的下凸函数，且在x ＝1 有极大 值，其极大值 f(1) ＝0，因此 因此有 成立。 2) 设 若有任意正数 qi (I =1, 2, … , n)，且 则有 ，以下证明过程： 因此有 3) 根据 ，令qi = 1/n 因此H( X )有最大值，且该最大值为 H( X )=log n。 上凸性证明： 1) 证明上凸性之前，先介绍凸函数的定义： 设多元函数 f(X) = f (x1, x