一个事 件的平均消息量也称作熵.pptVIP

* * * * * * * * * Chapter 16 消息理論 * 16.2 消息與熵 16.3 熵的上限 16.4 Kraft不等式 * 16.2 消息與熵 * 字母集(Alphabet Set)與字母頻率 (1) 字母集：所有可能出現的字母 (Alphabet) 所形成的集合，例如：英 文字母集 = {A, B, C, D, …, X, Y, Z}。 (2) 字母頻率：在字母集中，各字母出現的頻率。 定義好字母集和字母頻率後， 我們可將各個字母想像成各個事件(Event)。假若有兩個事件，它們分別為E1和E2 ， 它們所對應的機率為 P(E1) 和 P(E2) ，且 P(E1) 遠大於 P(E2) 。 我們對E2的發生會較E1的發生更感興趣。 既然消息量和事件發生的機率存在有某種反比的關係，嘗試定義消息和它的量。 * 範例1 如何定義消息量？它的單位又是什麼呢？ 令事件 E 的機率為P(E) ，函數 log 是單調遞增函數(Monotone Increasing Function)，事件 E 的消息量定義為： 加上一個累加條件 (Additive Property) 用來定義消息量，給定 k 個獨立 (Independent) 事件， E1、E2 、… 和Ek ，它們的消息量分別為 I(E1)、I(E2)、… 和I(Ek)，且必須滿足 令 A 為一集合, 。 * (16.2.3) (16.2.2) 將式 (16.2.2) 代入式 (16.2.3) ，我們得到： 上式確實滿足消息量的累加條件。因此，就非常適合拿來當消量的量度。 若log 之底數取 2 ，則消息量的單位為位元 (Bit) 。 假設字母集Σ={ A, B, C, D }中各個字母的機率為 、 、 和 。依照式 (16.2.2)的消息量定義，各個字母的消息量為 I(A)=3位元、I(B)=3位元、I(C)=2位元和I(D)=1位元。 * 範例2 不同機率的字母有不同的消息量，何謂平均消息量 (Average Information) ? 利用期望值的定義，上面例子中一個字母的平均消息量為 如果 k 個， E1、E2 、… 和Ek ，的機率分別為 P(E1)、P(E2)、… 和P(Ek)，則平均消息量為 這裡 Σ ={E1, E2, …, Ek}。一個事件的平均消息量也稱作熵 (Entropy)。 * (位元) 16.3 熵的上限 * 令 當 時，也就是所有事件形成的機率分佈為均勻分佈 (Uniform Distribution) 時，這時得到的熵值最大。若是所有事件形成的機率分佈很不均勻時， 則相對地，所得到的熵值也較小。 * 範例1 不管 ? 內的事件為何種機率分佈，熵的上限為何？ 令 且 ，也就是所有事件形成的機率分佈為均勻分佈時可算出： 其他種類的機率分佈所得到的熵似乎會小於等於logk，但得證明才行。也就是說，我們得證明：對任意的機率分佈而言， * 證明如下： * (16.3.1) 圖16.3.1 的示意圖 上圖中，不等式 是會成立的。 令 ，由圖可得 *