离散信源-资料精品教育文档.pptVIP

( ) 0 H X ? § 2. 2 熵的基本性质 1. 非负性 2. 确定性 0 ) 0 ,..., 0 , 1 ( ) 0 , 0 , 1 ( ) 0 , 1 ( ? ? ? H H H —— 确知信源熵为 0 3. 对称性 1 2 1 2 (, , , ) ( , , , ) q q i i i H P P PH P P P ? ( i 1 ,…i q ) 为（ 1~ q ）任意排列 —— 熵只与随机变量的总体结构有关 4. 扩展性 1 2 1 2 0 l i m ( ,,, , ) ( ,,,) q q H p pp H p pp ? ? ? ? ?? —— 极小概率事件对熵几乎无影响 5. 熵的链式法则 1 2 1 2 . . . , . . . ( ) m m a a a X p p p Px ? ? ? ? ? ? ? ? ? ? ? ? ? 1 2 1 2 . . . . . . ( ) n n b b b Y p p p Py ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 1 m i i p ? ? ? 1 1 n i i p ? ? ? ? 1 1 1 2 1 1 1 2 . . . ( ) ( ) . . . ( ) ( ) m n m n a b a b a b X Y P a b P