条件随机场-机器学习系列.PDFVIP

机器学习系列 条件随机场 李海 北京爱亿生健康科技有限公司 概率模型 3 朴素贝叶斯分类（Naive Bayes ）3 隐马尔科夫模型（HMM ）4 概率图模型 5 有向图模型 5 无向图模型 7 条件随机场 CRF 8 引例：词性标注 8 线性链条件随机场 10 条件随机场概率计算问题 13 线性链条件随机场的学习 15 牛顿法及阻尼牛顿法 16 BFGS 算法 16 L-BFGS 算法22 条件随机场的预测：Viterbi 算法 24 实例：命名实体识别 25 命名实体识别 25 用 CRF 模型实现一个命名实体识别问题25 文档中符号的说明（本文基本遵循该约定，个别地方可能会违背，这时需根据 上下文确定）： l ℝ 表示实空间，ℝ 表示 n 维实空间。 l 普通变量一般用斜体小写字母标识，例如 a，x 。 l 向量一般用小写粗斜体字母标识，例如 a，x 。未转置时向量是指列向量。 l 矩阵一般用大写粗斜字母标识，例如A ，X 。 l 随机变量一般用大写粗斜字母标识，例如 X 。 l 函数名以及专有名称一般用正体字符串标识，大小写字母均可，例如 exp 。 非特定的函数通常用斜体字符串标识，例如普通函数的标识f 。 l 矩阵或向量右上角的 T 表示转置，例如 表示向量x 的转置。 l 矩阵与矩阵、矩阵与向量、向量与向量相连，如果中间没有连接符号，表 示一般的乘法运算，例如Ax 表示矩阵 A 与向量x 的乘法。 关于随机变量、随机向量等，本文约定如下： 随机变量 大写字母 随机向量 随机变量序列 随机 l 一般用 标识，例如 X ； （ ）或 变量组一般用粗体大写字母标识，例如 X 。 l 随机变量X 的具体取值一般x 表示，随机向量 X = (X ,X ,…,X )的具体取 1 2 n 值一般用 x = (x ,x ,…,x )表示。随机向量X 的联合概率一般用 p (x )或 1 2 n p (x ,x ,…,x )表示。 1 2 n l 在随机向量 X = (X ,X ,…,X )取值为x = (x ,x ,…,x )的条件下，随机向量 1 2 n 1 2 n Y = (Y ,Y ,…,Y )取值为y = (y ,y ,…,y )的条件概率表示为 p (y |x )、 1 2 m 1 2