基于聚类的中文共指消.pdfVIP

基于聚类的中文共指消 解全解全局优化优化 刘未鹏周俊生黄书剑陈家骏 南京大学计算机科学与技术系 报告人：黄书剑 OutlineOutline 共指消解问题描述共指消解问题描述 共指消解方法的相关研究 基于聚类的中文共指消解全局优化方法 实验结果及分析 小结小结 共指消解问题描述共指消解问题描述 指代是自然语言中一种的非常普遍和常见的语言 现象,是一个复杂综合的过程。 指代一般可分成两种情况：[Wang, 2002] 回指回指，是指当前的指示语与是指当前的指示语与上文出现的词文出现的词、短语或句子短语或句子 (句群) 存在密切的语义关联性; 张三对李老师说，他感到很不舒服，不能参加下午的讨论会。 共指，则主要是指多个名词(包括代名词、名词短语) 指 向真实世界中的同一参照体。 共指关系是等价关系共指关系是等价关系，可以独立于上下文存在可以独立于上下文存在。而回指不而回指不一 定满足等价性原则。 “香港首任行政长官香港首任行政长官”和和 “董建华董建华” 共指消解方法的相关研究共指消解方法的相关研究 当前，大多数基于机器学习的共指消解方法一般 分为两个步骤[Soon, et al., 2001]。 第一步：分类 使用统计机器学习方法对Mention Pairs 进行二元分类； 第二步：聚类(*本文关注的内容) 在得到了Mention Pair 的共指概率的基础上构造最佳的 共指链。 BestCut方法[C. Nicolae and G. Nicolae, 2006] 整数线性规划方法整数线性规划方法[[Finkel and Manning,g, 2008]] Bell树模型[Luo et al., 2004] 共指消解方法的相关研究共指消解方法的相关研究 （（续续）） 存在的问题： 损失函数损失函数的指定指定比较随随意。 最大化类内相似度，最小化类间相似度 最终将全部聚集到同一个类中 BestCut: 寻找经过边的权值和最小的cut 需要SVM来进行cut停止条件判断 使用的最优化模型和算法并没有充分结合共指消解问 题本身的特质。 一种基于最小化决策错误的损失函数种基于最小化决策错误的损失函数 假设1：二元分类的准确程度相对较高，因而全局聚 类优化方法则应该更加关注于对违反分类决策的聚类 进行惩罚进行惩罚。 argminargmin ∑∑ ∑∑ PP((ee ))++∑∑ ∑∑ PP((ee )) ij ii i j i j e C e i e C e , ; ≠ ∈ ;P( )0.5 ∈ ;P( )0.5 ij ij ij ii ii ii 其中其中，CC 表示聚类表示聚类ii和聚类和聚类jj 之间所有的边的集合之间所有的边的集合，CC 表示表示 ij ii 聚类i 内部的所有的边的集合，e 和e 则表示上述集合中的 ij ii P (e) 某