词法分析与词性标注-模式识别国家重点试验室.pdf

第7章 词法分析与 词性标注 北京市海淀区中关村东路95号 电话：+86-10-8254 4688 邮编：100190 邮件：cqzong@ 7.1 概 述 宗成庆： 《自然语言理解》讲义，第 7 章 2/141 7.1 概述 词是自然语言中能够独立运用的最小单位， 是自然语言处理的基本单位。 自动词法分析就是利用计算机对自然语言 的形态(morphology) 进行分析，判断词的结构 和类别等。 词性或称词类(Part-of-Speech, POS)是词汇 最重要的特性，是连接词汇到句法的桥梁。 宗成庆： 《自然语言理解》讲义，第 7 章 3/141 7.1 概述 不同语言的词法分析 曲折语(如，英语、德语、俄语等) ：用词的形态 变化表示语法关系，一个形态成分可以表示若干种 不同的语法意义，词根和词干与语词的附加成分结 合紧密。 词法分析：词的形态分析(形态还原) 。 分析语(孤立语)(如：汉语) ：分词。 黏着语(如：日语等) ：分词＋形态还原。 宗成庆： 《自然语言理解》讲义，第 7 章 4/141 7.2 英语的形态分析 宗成庆： 《自然语言理解》讲义，第 7 章 5/141 7.2 英语的形态分析 基本任务 单词识别 形态还原 宗成庆： 《自然语言理解》讲义，第 7 章 6/141 7.2 英语的形态分析 英语单词的识别 例(1) Mr. Green is a good English teacher. (2) I’ll see prof. Zhang home after the concert. 识别结果： (1) Mr./ Green/ is/ a/ good/ English/ teacher/. (2) I/ will/ see/ prof./ Zhang/ home/ after/ the/ concert/. 宗成庆： 《自然语言理解》讲义，第 7 章 7/141 7.2 英语的形态分析 英语中常见的特殊形式的单词识别 (1) prof., Mr., Ms. Co., Oct. 等放入词典； (2) Let’s / let’s = let + us (3) I’am = I + am (4) {it, that, this, there, what, where}’s = {it, that, this, there, what, where} + is (5) can’t = can + not; won’t = will + not 宗成庆： 《自然语言理解》讲义，第 7 章 8/141 7.2 英语的形态分析 (6) {is, was, are, were, has, have, had}n’t = {is, was, are, were, has, have, had} + not (7) X’ve = X + have; X’ll= X + will; X’re = X + are (8) he’s = he +