最大熵与对数线性模型用于分类问题讲课要点.PDF

最大熵与对数线性模型（用于分类问题）讲课要点 李正华 2015 年 12 月 6 日 目录 1 从最大熵原理（maximum entropy）到对数线性的形式（log-linear） 1 1.1 符号定义 . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 最大熵 . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 求解最大熵模型 . . . . . . . . . . . . . . . . . . . . . . . 3 2 Log-linear model 的似然函数及梯度 6 3 以词性标注为例，实现一个最大熵模型 6 3.1 Stochastic Gradient Descent (SGD) 训练，basic 版本 . . . 6 4 编程作业 6 5 SGD 训练，L2 regularization 7 6 模拟退火 7 7 一段真实的 C++ 程序，同时使用 L2 regularization 和模拟退火，供参考 7 8 Adwait Ratnaparkhi: A Simple Introduction to Maximum Entropy Models for Natural Language Processing (1997) 8 1 从最大熵原理（maximum entropy）到对数线性的形式（log- linear） 主要参考/afs/cs/user/aberger/www/html/tutorial/tutorial.html， 建议看到 outline 小节即可。同时也阅读了李航老师的《机器学习方法》相关部分。 我觉得这两个参考文献，在用拉格朗日乘子求解时，都有一些小的瑕疵。所以再写 一遍（还有个问题没有完全理解）。 1.1 符号定义 ：表示一个数据集，包含 个实例 和对应的 个人工标注 类别标记 。 ：表示类别集合， 。 1 Count ：表示实例 在数据集 出现的概率，满足 ∑ Count ：表示实例 及对应答案 在数据集 出现的概率，满足 ∑ 和 一般称为经验概率，即从数据中通过数数直接可以得到的概率。这 两个概率符号的引入，主要是为了简化下面的推导。 1.2 最大熵 在数据集 上，对一个模型（概率分布） 的熵的定义为： ∑ ∑