词汇语义关系评测总结.PPT

词汇语义关系评测 吴云芳 万富强 周蜜 北京大学计算语言学研究所 wuyf@pku.edu.cn 2012-12-2 纲要 任务描述 评测数据的准备 评测数据的标注 参赛系统的结果 存在问题 进一步工作展望 缘起 词汇语义信息是自然语言处理中很重要的资源，是进一步进行句法和语义分析的基础。 在信息检索中的查询扩展、机器翻译中的模块识别等方面，相似词都是不可或缺的知识资源； 在句法分析、词义消歧等信息处理任务中，词语相似度也发挥着重要的作用。 而相似度词典的手工构建是一项费时费力的浩大工程，存在着不易更新、覆盖度不全等诸多缺陷。 任务描述 任务一：同义词发现文件 文书 文本 文牍 公文 文献 档案 文档 任务二：下位词发现 算法 分治法 动态规划法 贪心法 回溯法 同义词词语的选词范围 来源 类型 目标词数 QQ 聊天语料 口语词语 173 领域同义词库 常用词语 1585 微博 新词语 73 Gigaword 名词 5000 Gigaword 动词 2000 Gigaword 形容词 1000 Gigaword 成语 50 人民日报语料 组织机构名 50 人民日报语料 地名 50 维基百科 人名 50 去重之后得到 9464 个同义词词语。 下位词词语的选词范围 来源 类型 目标词数 《现代汉语语义词典》 语义类标签 44 《现代汉语词典》 上位词 （“是一种”模式） 61 《知网》 语义类标签 49 人民日报语料 上位词 （“一种”模式） 412 维基百科 分词后加筛选规则 4327 领域同义词库 常用的名词 150 Gigaword 名词 5000 去重之后得到 9354 个上下位词词语。 评测数据的准备 综合各家结果，求并集； 对同义词集/下位词集结果进行简单的统计： 结果数据.xlsx 选取评测的目标同义词； 人工标注： 北京大学中文系语言学专业硕士研究生 同义词集投入了更多的时间 同义词目标词的选择 来源 类型 目标词数 QQ 聊天语料 口语词语 173 领域同义词库 常用词语 1585 微博 新词语 73 Gigaword 名词 800 Gigaword 动词 300 Gigaword 形容词 100 Gigaword 成语 140 人民日报和维基百科 专有名词 50 去重之后得到 3129个目标词，作为人工标注的对象词语。 人工标注后，删除没有同义词的目标词，最终得到778个评价词。 尽量涵盖不同来源、不同类型的词语。 下位词语目标词的选择 来源 类型 目标词数 《现代汉语语义词典》 语义类标签 44 《现代汉语词典》 上位词 （“是一种”模式） 61 《知网》 语义类标签 49 人民日报语料 上位词 （“一种”模式） 412 维基百科等 其他名词 1100 然后再选择下位词数在[2, 99]之间的目标词1076个，作为人工标注的对象。 人工标注后，删除没有下位词的目标词，最终得到256个评价词。 尽量选择有潜在下位词的目标词。 参赛系统 报名：23个队伍 参赛：同义词8队10组结果 上下位词4队5组结果 参赛系统的结果—同义词 ? 宏平均 准确率 宏平均召回率 宏平均F1值 微平均准确率 微平均召回率 微平均F1值 中科院声学所 0.1271 ? 0.1011 0.099 ? 0.4422 ? 0.0644 ? 0.1124 ? 北京理工大学 0.1992 ? 0.2464 ? 0.1878 ? 0.2112 ? 0.2306 ? 0.2205 ? 北京交通大学 0.2876 0.3406 ? 0.2737 ? 0.3088 ? 0.3753 ? 0.3389 华为1 ? 0.3639 ? 0.5207 ? 0.3671 ? 0.2754 ? 0.5854 ? 0.3746 ? 华为2 ? 0.3300 ? 0.5534 ? 0.3638 ? 0.2615 ? 0.6129 ? 0.3666 ? 华侨大学 0.0378 ? 0.0105 ? 0.0148 ? 0.2996 ? 0.0115 ? 0.0222 ? 南京师范大学 0.3588 ? 0.6075 ? 0.3984 ? 0.3025 ? 0.6386 ? 0.4106 ? 哈尔滨工业大学 0.3230 ? 0.3905 ? 0.2852 ? 0.2303 ? 0.3692 ? 0.2837 ? 郑州大学1 ? 0.2971 ? 0.6419 ? 0.3594 ? 0.2530 ? 0.6792 ? 0.3687 ? 郑州大学2 ? 0.3252 ?