序列标注问题-语言计算与机器学习研究组.pdf

“自然语言处理导论”课程讲义 自然语言的序列标注问题 与解决方法(2) 孙栩 信息科学技术学院 xusun@ /member/sunxu/index.htm 大纲 链状结构即通常所说的“序列标注问题”  自然语言处理的序列标注问题举例  词性标注  中文切词  短语识别（浅层句法分析）  命名实体识别 代表性的序列标注方法  关键问题是什么？  隐马尔科夫模型 HMM 开始讲解具体的序  结构化感知器 structured perceptron 列标注方法 大纲 链状结构即通常所说的“序列标注问题”  自然语言处理的序列标注问题举例  词性标注  中文切词  短语识别（浅层句法分析）  命名实体识别 代表性的序列标注方法 我们这里所讲的序  关键问题是什么？ 列标注的每个点的  隐马尔科夫模型 HMM 分类都是多元分类，  结构化感知器 structured perceptron 而不再是二元分类 了 马尔科夫模型(Markov Model) { , , , } • 一个有限的状态集合 s s s 1 2 N • 从一个状态转移到另一个状态，从而产生一个状态序列 s s s i1, i 2 , , ik ,  • 马尔科夫独立性假设(Markov assumption): 一个状态的概 率只和之前的一个状态相关: ( | , , , ) ( | ) P s s s s P s s ik i1 i 2 ik −1 ik ik −1 • 为了定义马尔科夫模型，需要定义状态和状态之间的转移概 率 a P s s ij ( i | j ) 马尔科夫模型举例 0.3 0.7 Rain Dry 0.2 0.8 • 两个状态: ‘Rain’ and ‘Dry’ • 转移概率: P(‘Rain’|‘Rain’)=0.3 , P(‘Dry’|‘Rain’)=0.7 , P(‘Rain’|‘Dry’)=0.2, P(‘Dry’|‘Dry’)=0