第7章 词法分析与.pptx

北京市海淀区中关村东路95号 邮编：100190 电话：+86-10-6255 4263 邮件：cqzong@ 第7章 词法分析与 词性标注 宗成庆：《自然语言理解》讲义，第 7 章 2/140 7.1 概 述 宗成庆：《自然语言理解》讲义，第 7 章 3/140 7.1 概述 词是自然语言中能够独立运用的最小单位， 是自然语言处理的基本单位。 自动词法分析就是利用计算机对自然语言 的形态 (morphology) 进行分析，判断词的结构 和类别等。 词性或称词类(Part-of-Speech, POS)是词汇 最重要的特性，是连接词汇到句法的桥梁。 宗成庆：《自然语言理解》讲义，第 7 章 4/140 7.1 概述 不同语言的词法分析 曲 折 语(如，英语、德语、俄语等)：用词的形态 变化表示语法关系，一个形态成分可以表示若干种 不同的语法意义，词根和词干与语词的附加成分结 合紧密。 词法分析：词的形态分析(形态还原)。 分 析 语 ( 孤 立 语 )(如：汉语)：分词。 黏 着 语(如：日语等)：分词＋形态还原。 宗成庆：《自然语言理解》讲义，第 7 章 5/140 7.2 英语的形态分析 宗成庆：《自然语言理解》讲义，第 7 章 6/140 7.2 英语的形态分析 基本任务 单词识别 形态还原 宗成庆：《自然语言理解》讲义，第 7 章 7/140 7.2 英语的形态分析 英语单词的识别 例 (1) Mr. Green is a good English teacher. (2) I’ll see prof. Zhang home after the concert. 识别结果： (1) Mr./ Green/ is/ a/ good/ English/ teacher/. (2) I/ will/ see/ prof./ Zhang/ home/ after/ the/ concert/. 宗成庆：《自然语言理解》讲义，第 7 章 8/140 7.2 英语的形态分析 英语中常见的特殊形式的单词识别 (1) prof., Mr., Ms. Co., Oct. 等放入词典； (2) Let’s / let’s = let + us (3) I’am = I + am (4) {it, that, this, there, what, where}’s = {it, that, this, there, what, where} + is (5) can’t = can + not; won’t = will + not 宗成庆：《自然语言理解》讲义，第 7 章 9/140 7.2 英语的形态分析 (6) {is, was, are, were, has, have, had}n’t = {is, was, are, were, has, have, had} + not (7) X’ve = X + have; X’ll= X + will; X’re = X + are (8) he’s = he + is / has = ? she’s = she + is / has = ? (9) X’d Y = X + would = X + had (如果 Y 为单词原型) (如果 Y 为过去分词) 宗成庆：《自然语言理解》讲义，第 7 章 10/140 7.2 英语的形态分析 英语单词的形态还原 1.有规律变化单词的形态还原 1) -ed 结尾的动词过去时，去掉 ed； *ed  * *ed  *e (e.g., worked  work) (e.g., believed  believe) *ied  *y (e.g., studied  study) 宗成庆：《自然语言理解》讲义，第 7 章 11/140 7.2 英语的形态分析 2) -ing 结尾的现在分词， *ing  * *ing  *e *ying *ie (e.g., developing  develop) (e.g., saving  save) (e.g., die dying) 3) -s 结尾的动词单数第三人称； *s  * *es  * *ies  *y (e.g., works  work) (e.g., discuss  discusses) (e.g., studies  study) 宗成庆：《自然语言理解》讲义，第 7 章 12/140 7.2 英语的形态分析 4) -ly 结尾的副词