二元语言模型中最大似然估计的推导过程-suda-hlt.pdf

二元语言模型中最大似然估计的推导过程 夏庆荣, 李正华 2015 年 11 月10 日 1 符号定义 ：表示一个数据集，包含 个句子 ：表示第 个句子，包含 个词 ：表示一个伪词，标识句子开始 STOP：表示一个伪词，标识句子结束 ：表示从数据集 统计得到的词的集合 2 二元语言模型 基于马尔科夫假设，一个句子的概率定义为： ∏ (1) 进而，需要利用一个数据集 ，估计语言模型使用的所有参数： (2) 可以看到，模型需要估计 个参数。 根据如下公式确定参数通常称为最大似然估计(maximumlikelihoodestimation,MLE)： Count (3) Count 其中 Count 表示 这个bigram （两个连续出现的词）在数据集 中出现的次数； Count 表示 这个词在数据集 中出现的次数。可以形式化表示如下： Count ∑ ∑ 1 (4) 其中 1condition 为指示函数（indicator function），如果condition 为true，则为，否 则为 。 这个文档的目的就是通过公式推导，说明最大似然估计的含义：根据公式(11) 确定 的参数，恰好让数据集 的likelihood 最大。 1 3 MLE 目标函数 数据集 的似然（likelihood）定义如下。所谓likelihood，和概率应该是类似的，是 说一个数据集存在的可能性。一般假设数据集中的句子互相独立。 ∏ (5) ∏ ∏