云南民族大学通信原理第十二章 信息理论.pdfVIP

第十二章信息理论 第十二章信息理论 12.1 离散信源的熵 12.1 离散信源的熵 熵的定义： 设：信源X 能发出n个不同的消息x , x , …, x , …, x ， 1 2 i n 则定义熵为信源的平均信息量H(X) ： n H (X ) E[I (x )] − P(x ) log P(x ) i ∑ i 2 i i 1 式中，I (x ) = - log P(x ) (b) i 2 i I (x )表示消息x 含有的信息量 i