最大熵模型及其在自然语言处理中的应用备课讲稿.pptVIP

最大熵模型及其在自然语言处理中的应用 熵：物理学中的熵 物理学概念： 宏观上：热力学定律——体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度（克劳修斯，1865） 微观上：熵是大量微观粒子的位置和速度的分布概率的函数，是描述系统中大量微观粒子的无序性的宏观参数（波尔兹曼，1872） 结论：熵是描述事物无序性的参数，熵越大则无序性越强。 熵：自然界中的熵增原理 熵增原理是熵在自然界的变化规律 一个孤立系统的熵，自发性地趋于极大，随着熵的增加，有序状态逐步变为混沌状态，不可能自发的产生新的有序结构。 当熵处于最小值，即能量集中程度最高、有效能量处于最大值时，那么整个系统也处于最有序的状态，相反为最无序状态。 熵增原理预示着自然界越变越无序。 熵：信息熵 和熵的联系——熵是描述客观事物无序性的参数。香农认为信息是人们对事物了解的不确定性的消除或减少，他把不确定的程度称为信息熵（香农，1948） 随机事件的信息熵：设随机变量ξ，他有A1,A2,…,An共n种可能的结局每个结局出现的概率分别为p1,p2,…,pn，则其不确定程度，即信息熵为: ? 对熵的感性认识 熵就是不确定性的变化程度。 熵与变量本身含义或值无关，只和变量的可能取值范围有关。 例子 举个例子，一个快餐店提供3种食品：汉堡(B)、鸡肉(C)、鱼(F)。价格分别是1元、2元、3元。已知人们在这家店的平均消费是1.75元