[自然语言处理中的最大熵方法.pptVIP

自然语言处理中的最大熵方法 马金山 信息检索研究室 纲 要 熵理论的发展 信息熵 最大熵理论 最大熵理论的应用 什么是熵 什么是熵？ 没有什么问题在科学史的进程中曾被更为频繁地讨论过 普里高津 熵定律是自然界一切定律中的最高定律 里夫金霍华德 熵的提出 德国物理学家克劳修斯（Rudolph J.E clausius） 于1865提出熵的概念 其经典意义定义为： R表示可逆过程，即体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度。 熵原理的形象比喻 一滴墨水滴入一杯清水中，墨水扩散后均匀地分布在清水中 比喻热力体系的自发过程总是趋于温度均匀分布， 反之不行。 微观世界中熵的含义 热力学定律都是对物质宏观性质进行考察得到的经验定律 宏观物体是大量微观粒子构成的 1872年，波尔兹曼（L．Boltzmann）指出熵是大量微观粒子的位置和速度的分布概率的函数，是描述系统中大量微观粒子的无序性的宏观参数 熵值高意味着无序性强 ! 熵增原理 一个孤立系统的熵，自发性地趋于极大，随着熵的增加，有序状态逐步变为混沌状态，不可能自发地产生新的有序结构。 当熵处于最小值, 即能量集中程度最高、有效能量处