中文文本信息处理课件第十一章语义消歧.ppt

中文文本信息处理的原理与应用 统计语义优选(续3) 应用示例：分析句子“He saw the man with a telescope”和“He saw the man with a hat” 两个句子的逻辑形式如图所示： 这两个句子结构上都有歧义，但是也可以用同样的方法的分析 包含 包含 包含 包含 (INSTR SEES1 TELESCOPE1) (WITHi MAN1 TELESCOPE1) (INSTR SEES1 HAT1 ) (WITHi MAN1 HAT1) 1．He saw the man with a telescope． 1a (SEESl p1 [EXPERIENCER(PRO h1 HE1)] [THEMETHE w1 MALE-PERSON1] [INSTRA b1 TELESCOPE1]) 1b (SEESl p1 [EXPERIENCER(PRO h1 HE1)] [THEMETHE w1 MALE-PERSON1 ({WITH1…WITHn} w1 A b1 TELESCOPE1)]) 2．He saw the man with a hat． 2a (SEESl p1 [EXPERIENCER(PRO h1 HE1)] [THEMETHE w1 MALE-PERSON1] [INSTRA w2 HAT1]) 2b (SEESl p1 [EXPERIENCER(PRO h1 HE1)] [THEMETHE w1 MALE-PERSON1 ({WITH1…WITHn} w1 A w2 HAT1)]) 假设都很常见，两种解释都合乎情理 假设不常见，舍弃这种解释 假设常见，应取这种解释 中文文本信息处理的原理与应用 统计语义优选(续4) 如何才能获得一组准确的统计信息？ 不只为用到用到的语义的三元组统计数据，也为这些语义的抽象类的三元组统计数据 问题 词义太多，统计很繁琐，问题很严重 思路 解决 方案 利用预先定义的抽象层次体系 中文文本信息处理的原理与应用 统计语义优选(续5) 概率类型层次体系示例： 中文文本信息处理的原理与应用 统计语义优选(续6) 已知这样一个层次体系，如果观测到一个三元组(THEME PAINTS1 STRUCTURE1)，我们不仅记录该三元组的出现，还记录STRUCTURE1对应于抽象实体的记录，如(THEME PAINTS1 LARGE-PHYSOBJ)和(THEME PAINTS1 PHYSOBJ)。因此，在分析含有1000个PAINTS1实例的扩展语料库后，可以获得图所示的数据和概率计算结果 。 根据这些结果，就可以进行以上所述的语义优选方法了 中文文本信息处理的原理与应用 Thanks 中文文本信息处理的原理与应用 第十一章 语义消歧 同济大学计算机科学与技术系 中文文本信息处理的原理与应用 问题的提出 语义解释过程中，如何处理一词多义的情况？ 语义解释过程中，如何消除句子的不同部分进行组合带来的歧义？ 中文文本信息处理的原理与应用 主要内容 选择限制法消歧 语义网络 统计词义消歧 统计语义优选 中文文本信息处理的原理与应用 选择限制法消歧 词义层次体系 选择限制法 选择限制法和句法分析结合 中文文本信息处理的原理与应用 词义层次体系 词义可以通过不同方法关联起来，这些方法基于它们所描述对象的类别 某些意义是不相交的，也就是说，没有可以同时属于两个类的对象。例如：DOG1(dog的标准意义)和CAT1(cat的标准意义)是不相交意义。 某些意义则可以是别的意义的子类。例如，DOG1类既可以是MAMMAL1(哺乳动物)类的子类，也可以是PET1类(家庭宠物)的子类。 还有一些意义有重叠，比如MAMMAL1和PET1。 这些常识在歧义消除方面会起到一定的作用 中文文本信息处理的原理与应用 词义层次体系(续1) 这些子集之间的关系定义了一种语义上的抽象层次关系，如图所示层次体系最上层的部分 ALL TIME INDIVIDUAL LOCATION SITUATION COLLECTION PHYSOBJ ABSTRACTOBJ NON-L