自然语言处理教学课件7.pptxVIP

自然语言处理第 7 章 词法分析教材： 刘挺等《自然语言处理》 高等教育出版社，2021目录词形分析英语词形变化概述词形分析算法词语切分中文分词概述中文分词方法中文分词语料词性标注词性标注概述词性标注方法主要数据集目录词形分析英语词形变化概述词形分析算法词语切分中文分词概述中文分词方法中文分词语料词性标注词性标注概述词性标注方法主要数据集词词（word）：最小的能独立使用的音义结合体，能够独立运用并能够表达语义或语用内容的最基本单元例：英文单词“cats”具有语义是“猫”，词性为名词，数量为复数词在以英语为代表的印欧语系（Indo-European languages）中词之间通常有分隔符（空格等）来区分但是在以汉语为代表的汉藏语系（Sino-Tibetan languages），以及以阿拉伯语为代表的闪-含语系（Semito-Hamitic languages）中却不包含明显的词之间的分隔符词形分析语素或词素（morhpeme）最小的音义结合体词通常是由语素或词素构成例：“电灯”包含“电”和“灯”两个语素在英文单词dog末尾添加s可以将它从单数名词变成复数名词dogs德语单词b?cker末尾添加in可以将它从阳性词（男面包师）变为阴性词b?ckerin（女面包师）将一个词分解成为语素的过程称为词形分析 （Morphological Parsing）词形分析词素分类原形（Lemma）：也称为字典形，指通常能在字典中查到的语素，通常是一个词最主要的语素词缀（A?x）：是其他附着在原形上语素，帮助在原形基础上衍生出新词，包含前缀和后缀等例：在单词cats中，“cat” 为原形，“-s” 为后缀单词unhappy中，“happy”为原形，“un-”为前缀一个词可以包含多个词缀如“unhappiness” 包含前缀 “un-”和后缀 “-ness”一个词也可以包含多个原形如 homework包含原形“home”和“work”词形分析英语词形变化屈折变化（In?ection）通过“原形+词缀”的方式构成和原形“同一类型”的词例：在名词后加“-s”后缀构成复数名词（cats），在动词后加“-ed”后缀构成动词的过去式（walked）通过屈折变化得到的词的词义与它的原形相似派生变化（Derivation）通过“原形+词缀”的方式构成和原形“不同类型”的词例：employ可以通过后缀“-ee” 变为employee，也能够添加 “-er” 变为employer增加后缀后词义发生了较为明显的变化组合（Compounding）附着（Cliticization）词形分析英语词形变化屈折变化（In?ection）派生变化（Derivation）组合（Compounding）通过组合多个原形构成一个新词例：homework，waterproof等附着（Cliticization）指“原形+附着语”的方式附着语通常在语法上等同于一个词，通过特殊的方式“附着” 在原形上例：I’m，中的“’m” 代表“am” 附着在“I”上词形分析英语名词屈折变化规则复数的变化大多数 （可数）名词可以通过添加后缀“-s”（或者“-es” 以及其他拼写变化）变为复数，例如：cacaterpillas当词以s/sh/ch/x结尾时，使用后缀“-es”，例如：buses， wishes，matches，boxes。当词以y结尾时需要将y替换成i 后再与后缀“-es”组合，例如：butter?ies，studies，parties一些名词具有不规则的复数形式 （Irregular Nouns）变化。例如：goose/geese，mouse/mice，man/men，criterion/criteria所有格的变化对单数名词或者不以s结尾的复数名词，添加后缀“’s”。例如：teacher children’s对以s结尾的复数名词，添加后缀“ ’”，例如：cats’词形分析英语规则动词屈折变化规则动词的-s形式（-s form），在词尾添加-s后缀。主要用在第三人称单数做主语的一般现在时态中（simple present）例：move/moves，call/calls动词的-ing分词形式 （-ing participle），在词尾添加-ing后缀。主要用在进行时态中或者将动词作为名词使用时(动名词)例：move/moving，call/calling动词的过去式 （past form）和-ed分词形式（-ed participle），在词尾添加-ed后缀。通常用于过去时态，完成时态和被动语态中例：move/moved，call/called词形分析英语规则动词屈折变化规则需要注意的是这些变化可能会按照一定的规则修改原形的拼写例如：当原形以单个辅音字母结尾时，需要重复辅音字母（ma