中文信息处理复习提纲.pptVIP

* 熵的计算 例：掷硬币有两种结果，假定正面朝上和反面朝上的概率都是0.5；掷骰子有6种结果，假定每种结果的概率都是1/6。掷硬币的结果与掷骰子的结果这两个随机变量的熵孰大孰小？ 解：H(掷硬币)＝－2(0.5log0.5)＝log2＝1.0 H(掷骰子)＝－6((1/6)log(1/6))＝log6=2.58 掷骰子的结果这个随机变量的熵较大。由此可见，随机变量的分布同样均匀时，分布越广的，熵越大。 湘谎语孙距周追甸屁醛蛰湃死岳猫讲渣疤抢灵污舅宇藩腥秦鹏井夫言彰竞中文信息处理复习提纲中文信息处理复习提纲 * 熵的计算 例：据统计，“间”读阴平的概率是0.97，读去声的概率是0.03；“藏”读zang4的概率是0.56，读cang2的概率是0.44。“间”的读音和“藏”的读音这两个随机变量孰大孰小？ 解：H(“间”的读音) ＝－0.97log0.97－0.03log0.03 ＝ 0.19 H(“藏”的读音) ＝－0.56log0.56－0.44log0.44 ＝ 0.99 “藏”的读音这个随机变量的熵较大。由此可见，概率分布广度相同时，分布越均匀的，熵越大。 疥獭惯抖娠冀憨篷奠摩面桑闰哄孽亚憨椽闯爷孤肘痞要烬垃壹腺滇棵渴玩中文信息处理复习提纲中文信息处理复习提纲 互信息（Mutual Information） 如果X和Y是一对随机变量，其概率分布为p(xy)，则互信息