最大熵模型及其在自然语言处理中的应用.pptVIP

例子 举个例子，一个快餐店提供3种食品：汉堡(B)、鸡肉(C)、鱼(F)。价格分别是1元、2元、3元。已知人们在这家店的平均消费是1.75元，求顾客购买这3种食品的概率。如果你假设一半人买鱼另一半人买鸡肉，那么根据熵公式，这不确定性就是1位（熵等于1）。但是这个假设很不合适，因为它超过了你所知道的事情。我们已知的信息是： p(B)+p(C)+p(F)=1 1p(B)+2p(C)+3p(F)=1.75 以及关于对概率分布的不确定性度量，熵： H=-p(B)log(p(B))-p(C)log(p(C))-p(F)log(p(F)) 对前两个约束，两个未知概率可以由第三个量来表示，可以得到： p(C)=0.75-2p(F) p(B)=0.25+p(F) 把上式代入熵的表达式中，熵就可以用单个概率p(F)来表示,对这个单变量优化问题，很容易求出当p(F)=0.216时，有最大熵H=1.517 总结一下。以上，我们根据未知的概率分布表示了约束条件，用这些约束条件消去了两个变量，用剩下的变量表示熵，最后求出了熵最大时剩余变量的值，结果就求出了一个符合约束条件的概率分布，它有最大不确定性，我们在概率估计中没有引入任何偏差。 Input：特征函数集合{f}，特征经验分布 Output：最优参数值集合{λ}，最优模型 ? 基于最大熵的统计建模：参数估计 GIS算法（Generalized Iterative Scaling） Darroch and Ratcliff,1972 IIS算法（Improved Iterative Scaling） Della Pietra ,1995 SCGIS算法 Goodman,2002 其他算法 基于最大熵的统计建模：参数估计 在所有的特征中选择最有代表性的特征，构造约束集合 数据稀疏的问题 特征选择的步骤： 特征模板候选特征 候选特征选择特征 特征选择的方法： 增量式特征选择算法：基本算法和近似算法 基于频数阀值的特征选择算法 基于最大熵的统计建模：特征选择 最大熵模型的优缺点 最大熵模型的优点： 建模时，试验者只需集中精力选择特征，而不需要花费精力考虑如何使用这些特征。 特征选择灵活，且不需要额外的独立假定或者内在约束 模型应用在不同领域时的可移植性强 可结合更丰富的信息 时空开销大 数据稀疏问题严重 对语料库的依赖性较强 最大熵模型的优缺点 最大熵方法及其在自然语言处理中的应用 吕先超 2015年1月21日 熵 信息熵 最大熵理论 最大熵模型 参数估计 特征选择 最大熵模型的应用 最大熵理论 熵：物理学中的熵 物理学概念： 宏观上：热力学定律——体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度（克劳修斯，1865） 微观上：熵是大量微观粒子的位置和速度的分布概率的函数，是描述系统中大量微观粒子的无序性的宏观参数（波尔兹曼，1872） 结论：熵是描述事物无序性的参数，熵越大则无序性越强。 熵：自然界中的熵增原理 熵增原理是熵在自然界的变化规律 一个孤立系统的熵，自发性地趋于极大，随着熵的增加，有序状态逐步变为混沌状态，不可能自发的产生新的有序结构。 当熵处于最小值，即能量集中程度最高、有效能量处于最大值时，那么整个系统也处于最有序的状态，相反为最无序状态。 熵增原理预示着自然界越变越无序。 熵：信息熵 和熵的联系——熵是描述客观事物无序性的参数。香农认为信息是人们对事物了解的不确定性的消除或减少，他把不确定的程度称为信息熵（香农，1948） 随机事件的信息熵：设随机变量ξ，他有A1,A2,…,An共n种可能的结局每个结局出现的概率分别为p1,p2,…,pn，则其不确定程度，即信息熵为: ? 对熵的感性认识 熵就是不确定性的变化程度。 熵与变量本身含义或值无关，只和变量的可能取值范围有关。 熵公式的理解：熵的性质 0≤H(X) ≤log|X| 第一个等号在X为确定值的时候成立（没有变化的可能） 第二个等号在X均匀分布的时候成立 最大熵理论：熵增原理 在无外力作用下，事物总是朝着最混乱的方向发展 事物是约束和自由的统一体 事物总是在约束下争取最大的自由权，这其实也是自然界的根本原则 在已知条件下，熵最大的事物，最可能接近它的真实状态 最大熵原则下点的分布： 对一随机过程，如果没有任何观测量，即没有任何约束，则解为均匀分布。 增加约束条件 继续增加约束条件 以最大熵理论为基础的统计建模 为什么可以基于最大熵建模呢？ Jaynes证明：对随机事件的所有相容的预测中，熵最大的预测出现的概率占绝对优势 Tribus证明，正态分布、伽玛分布、指数分布等，都是最大熵原理的特殊情况。 基于最大熵的统计建模：建模理论 基于最大熵的统计建模：建模理论 结论：最大熵统计建模是以最大熵理论为基础的一种选择