词性标注-北京大学中国语言学研究中心.PDFVIP

自然语言处理导论课程讲义 第三讲第三讲 词性标注词性标注 詹卫东 /alcourse/nlp 提纲 11. 汉语的词类划分及标注问题汉语的词类划分及标注问题 22. 词类自动标注的方法词类自动标注的方法 • 隐马尔可夫模型（HMM）+ Viterbi算法 • 基于转换的错误驱动的词性标注方法 3. 小结小结 2 1 汉语的词类划分及标注问题 词类词类：： 一个语言全部词汇的子类划分个语言全部词汇的子类划分。。 Part of speech， word class 那么，依据什么标准对词进行分类呢？ 1. 意义 事物、动作行为、性质状态、数量、…… 2.2. 形态形态 --eded --inging --ss --erer --lyly 3. 分布 词语能出现和不能出现的位置 3 词语的分布示例（I） aa bb cc 1 很 多 学生 很 多 高 个子 学生 很 多 高 个子 2 高 个子 学生 高 个子 很 多 学生 高 个子 很 多 “很多”和“高个子”的分布（位置）不同！ 词语的分布示例（II） a b 1 悠久 历史 历史 悠久 2 悠久 不 历史 历史 不 悠久 3 两千年 的 悠久历史 两千年 的 历史 悠久 “历史”和“悠久”的分布（位置）不同！ 词语的分布示例（III） a b 1 他 迅速 销毁了密码本 他 立即 销毁了密码本 22 他他 销毁密码本销毁密码本 很很 迅速迅速 他他 销毁密码本销毁密码本 很很立即立即 果断 马上 坚决坚决 悄悄悄悄 突然 立刻 仔细仔细 已经已经 用力 必定 大胆大胆 亲自亲自 …… …… 划分词类的基本思路 11. 给出语言中基本组合关系的清单给出语言中基本组合关系的清单——确定句法位置确定句法位置； 22. 根据词语进入基本组合关系中不同位置的能力根据词语进入基本组合关系中不同位置的能力，对词语进对词语进 行功能分类； 汉语词类归属测试汉语词类归属测试 （（调查调查