信息论以及编码.pptVIP

* 甲、乙地天气预报为两极端情况： 这种情况下,信源的不确定性最大,信息熵最大。 甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。 * 例2－6 电视屏上约有 500 × 600= 3×105个格点，按每点有 10个不同的灰度等级考虑，则共能组成 个不同的画面。按等概率 计算，平均每个画面可提供的信息量为 ＝3 × 105 × 3.32 比特/画面 * 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H(X) ＝log2N ＝4 × 103 × 3.32 ≈ 1.3 × 104 比特/千字文 比较: “一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。 * 例2－7 该信源X输出符号只有两个,设为0和1输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 则二元信源熵为 H(X)= －plogp－qlogq = －plogp－ (1－ p)log(1－p