对树库的认识_第六讲.pptVIP

对树库的认识 黄昌宁 微软亚洲研究院 v-cnh@ 大纲 语料库——语言知识的表示 短语结构树和概率型上下文无关语法 依存语法和依存结构树 结束语：树库对自动句法分析的贡献 语料库——语言知识的表示 语料库的标注： 分词标注 词性标注 命名实体(Named Entity)标注 实体互指(coreference)标注 语块(chunking)标注 树库(Treebank)标注 CoNLL ●ACL自然语言机器学习专业委员会(SIGNLL)，自1999年起每年举办有关自然语言处理的评测活动 网址：http://farm.nl/signll/conll/ ●语块分析（CoNLL1999,2000） ●小句识别与事件抽取（CoNLL2001） ●命名实体识别（CoNLL2002,2003） ●依存句法分析（CoNLL12006,2007） ●语义角色标注（CoNLL2006-2010） 分词标注 1a 这/等于/给/企业/注入/了/部分/资金/，/可以/推动/保护/工程/和/下岗/分流/工作/的/实施/。 1b 是/集/制造业/、/房地产/业/、/贸易/等/于/一体/的/综合性/私营企业/， 2a 儿童文学/原创/作品/对/整个/少年儿童/读物/出版/的/整体/走向/有着/重大/影响/。 2b 她们/的/视野/已/从/庭院/式/的/经济/走/向/市场/。 ● 如果每个字最多有4个构词位置（词位） 词首B:占领 词尾E:抢占 词中M:独占鳌头 单字词S:已/占/ 全国 ● 分词结果：/上海/计划/到/本/世纪/末/实现/人均/国内/生产/总值/五千美元/。/ ● 词位标注形式：上/B海/E计/B划/E到/S本/S世/B纪/E末/S实/B现/E人/B均/E国/B内/E生/B产/E总/B值/E五/B千/M美/M元/E。/S 把分词标注改作字的词位标注 中文分词的评测指标 Bakeoff-2006的分词语料库 提供者 语料库 编码 训练集 词次数 测试集 词次数 OOV率 台湾中研院 AS Big5 5.45M 91K 0.042 香港城市大学 CityU 1.64M 220K 0.040 美国宾州大学 CTB GB 508K 151K 0.068 微软亚洲研究院 MSRA 1.26M 100K 0.034 分词系统之间的词语认同率(F值) 测试语料库 分词系统 AS CTB CityU MSRA AS2006 1.0 0.9593 0.9256 0.8583 CTB2006 0.9420 1.0 0.9104 0.8774 CityU2006 0.9321 0.9346 1.0 0.8488 MSRA2006 0.8570 0.8866 0.8483 1.0 ●调和平均值 F=2PR/(P+R)=0.90 ●如计算前三个分词系统，则 F=0.93 人与人之间的词语认同率(F值) M1 M2 M3 T1 T2 T3 M1 0.77 0.69 0.71 0.69 0.70 M2 0.72 0.73 9.71 0.70 M3 0.89 0.87 0.80 T1 0.88 0.82 T2 0.78 ●测试语料：100个句子，4,372个汉字 ●M1-M3为大陆人，T1-T3为台湾人 ●算术平均值 F=(P+R)/2=0.76 小结 ●分词语料库提供的分词知识超过了“分词规范+词表”：上下文信息、知识的颗粒度、知识的覆盖面 ●不同知识表示：“词”还是“字”？ ——决定着不同的分词模型 ●语料库彻底改变了徘徊近20年的自动分词技术 可比的测试结果 未登录词对分词精度的损害比分词歧义大得多 不同分词规范之间的词语认同率超过人 短语结构树：宾州树库(PTB) 概率型上下文无关语法(PCFG) S - NP VP 1/1 NP - NP NP 1/7 NP - NP PP 1/7 NP - NNP NNP 1/7 NP - NNP 1/7 NP - DT NN 1/7 NP - PRP$ NN 1/7 NP - NN 1/7 VP - VBD NP NP 1/1 PP - IN NN 1/1 词例化的短语结构树 词例化的PCFG规则 S[announced] - NP[Smith] VP[announced] 1/1 NP[Smith] - NP[Smith] NP[president] 1/2 N