词法分析与词性标注-Read.PDF

第7章 词法分析与 第7章 词法分析与 词性标注 词性标注 No.95, Zhongguancun East Road Beijing 100080, China Tel. No.: +86-10-6255 4263 NLPR 7.1 概述 7.1 概述 NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.1 概述 7.1 概述 词是自然语言中能够独立运用的最小单 位，是自然语言处理的基本单位。 自动词法分析就是利用计算机对自然语言 的形态(morphology) 进行分析，判断词的结构 和类别等。 词性或称词类（Part-of-Speech, POS ）是词 汇最重要的特性，是连接词汇到句法的桥梁。 NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.1 概述 7.1 概述 不同语言的词法分析 曲折语(如，英语、德语、俄语等) ：用词的 形态变化表示语法关系，一个形态成分可以表 示若干种不同的语法意义，词根和词干与语词 的附加成分结合紧密。 词法分析：词的形态分析(形态还原) 。 分析语(孤立语)(如：汉语) ：分词。 黏着语(如：日语等) ：分词＋形态还原。 NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.2 英语的形态分析 7.2 英语的形态分析 NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.2 英语的形态分析 7.2 英语的形态分析 基本任务 单词识别 形态还原 NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.2 英语的形态分析 7.2 英语的形态分析 英语单词的识别 例(1) Mr. Green is a good English teacher. (2) I’ll see prof. Zhang home after the concert. 识别结果： (1) Mr./ Green/ is/ a/ good/ English/ teacher/. (2) I/ will/ see/ prof./ Zhang/ home/ after/ the/ concert/. NLPR, CAS-IA 2007-4-17 宗成庆：《自然语言理解》讲义 NLPR 7.2 英语的形态分析 7.2