9.消歧需要词例知识黄昌宁.pptVIP

消歧需要词例知识 黄昌宁 微软亚洲研究院 cnhuang@ 提 纲 对NLP的误识 消歧需要词例知识 （1）OAS的侦察和消歧 （2）语块分析 结论 对NLP的误识 有人认为： ●中文信息处理 = 汉语理解 ●句法-语义方法是唯一出路 事实是： ●绝大多数NLP系统建立在语言表层信息的基础上，还谈不上“理解” ●分布在各个层面上的歧义是自然语言的一个本质属性，句法-语义方法在消歧方面的能力尚待证实 句法-语义的神话 三种自动分词方法：形式分词(MM)，句法分词，语义分词 (王永成) 句法分词“解决切分歧义的 95%”(何克抗) 句法分析可解决切分歧义(Wu,1998) ●事实证明：句法-语义方法在消解切分歧义方面，效果并不理想(Wu, SIGHAN-2003) ●把自然语言处理看成是一个物理符号处理系统也许更现实一些 CFG规则不能做什么？ ? 短语边界歧义： ●[NP 经营/农产品/的/加工/潜力/]很大 [NP 农产品/的/加工/] [VP 经营/ [NP农产品/的/加工/] ] ●重视[NP发挥v/高素质/人才/的/作用/] [NP 高素质/人才/的/作用/] [VP发挥v/ [NP高素质/人才/的/作用/] ] ?切分歧义： ●对路/a 的 渴望 竟 如此 强烈 ， [PP 对/p路/n]