中文自动词性标注-北京大学中国语言学研究中心.pdf

第七章 词汇分析（二） —— 从词串到词性标记串 詹卫东 /doubtfire/ 提纲  1 词性标注与兼类词 2 隐马尔可夫模型（HMM） 3 Viterbi算法 4 基于转换的错误驱动的词性标注方法 5 小结 2 词类：为句法结构分析提供组合信息 （1）词（w ）的组合方向： w在参与序列组合时朝哪个方向组合 ； （2）词（w ）的组合对象： ｗ要求跟几个成分组合； ｗ要求跟什么类型的语言成分组合。 ? ? ? w ? 3 词类：为句法结构分析提供组合信息 b: 区别词 d：副词 u：助词 v ：动词 a: 形容词 n：名词 词类（分布）信息 = 组合方向 + 对组合对象的约束 4 1 词性标注（pos tagging）  语法体系 —— 词性标记集的确定  一词多类现象 • Time flies like an arrow. Time/n-v flies/v-n like/p-v an/Det arrow/n • 把这篇报道编辑一下 把/q-p-v-n 这/r 篇/q 报道/v-n 编辑/v-n 一/m-c 下/f-q-v 5 词的兼类现象 兼类数 兼类词数 百分比 例词及词性标记 5 3 0.01% 和 c-n-p-q-v 4 20 0.04% 光 a-d-n-v 3 126 0.23% 画 n-q-v 2 1475 2.67% 锁 n-v 合计 1624 2.94% 总词数：55191 数据来源：北大计算语言所《现代汉语语法信息词典》1997年版 6 词的兼类现象（续） 兼类 词数 百分比 例词 n-v 613 42% 爱好，把握，报道 a-n 74 5% 本分，标准，典型 a-v 217 15% 安慰，保守，抽象 b-d 103 7% 长期，成批，初步 n-q 64 4% 笔，刀，口 a-d 30 2% 大，老，真 合计 1101 75% 兼两类词数：1475 7 词的兼类现象（续）