自然语言处理6 条件随机场与序列标注.docxVIP

6. 条件随机场与序列标注 本章介绍一种新的序列标注模型条件随机场。这种模型与感知机同属结构化学习大家族，但性能比感知机还要强大。为了厘清该模型的来龙去脉，我们先对机器学习模型做番柿理。然后结合代码介绍条件随机场理论，探究它与结构化感知机的异同。 6.1 机器学习的模型谱系 机器学习的模型谱系图如下图所示: 根据建模的究竟是联合概率分布 P(x,y) 还是条件概率分布 P(y|x)。派生出生成式模型与判别式模型。 生成式模型 生成式模型：模拟数据的生成过程，两类随机变量存在因果先后关系，先有因素 y，后有结果 x，这种因果关系由联合分布模拟： 通过联合分布 P(x,y)，生成式模型其实间接建模了 P(x)： 这里有两个缺陷: P(x) 很难准确估计，因为特征之间并非相互独立，而是存在错综复杂的依赖关系。 P(x) 在分类中也没有直接作用。 为了克服这两个问题，判别式模型出现。 判别式模型 判别式模型直接跳过了 P(x)，直接对条件概率 P(y|x) 建模。不管 x 内部存在多复杂的关系，也不影响判别式模型对 y 的判断，于是就能够放心大胆的利用各种各样丰富的、有关联的特征。 所以我们会看到感知机分词的准确率高于隐马尔可夫模型。 其中，exp 为指数函数。随机变量关系错综复杂，为了分析这些