中文同义词自动抽取研究.pptVIP

传递性验证规则 测评结果 谢谢！ * * * 中文同义词自动抽取研究 南京师范大学计算机学院 自然语言处理小组 曹冉 孙玉霞 狄颖 指导老师： 曲维光 周俊生 目录 基于语义词典的方法 基于《同义词词林（扩展版）》 基于中文概念词典CCD 基于网络资源的方法 基于模式匹配的方法 基于并列结构的方法 同义词传递性扩充的方法 目录 基于语义词典的方法 基于《同义词词林（扩展版）》 基于中文概念词典CCD 基于网络资源的方法 基于模式匹配的方法 基于并列结构的方法 同义词传递性扩充的方法 《同义词词林（扩展版）》 在《同义词词林（扩展版）》中，编码末尾为 = 的词语集合表示的是同一个语义。 因此，目标词的同义词即为包含目标词的编码末尾为 = 的词语集合。 目标词 “规则”对应的同义词集合： Di24A01= 规则 守则 准则 则 规 律 章法 轨道 清规 戒律 规例 规约 目录 基于语义词典的方法 基于《同义词词林（扩展版）》 基于中文概念词典CCD 基于网络资源的方法 基于模式匹配的方法 基于并列结构的方法 同义词传递性扩充的方法 中文概念词典 CCD CCD中使用Synset字段来描述概念。 但是在Synset中的词语并不完全是同义词，而是某种意义上的相关词。 一个词语也可能出现在多个Synset中 。 如目标词“爱好”: 概念编号 定义 Synset吸引普通大众 喜好 流行 爱好 盛行 风行一种附属的活动 嗜好 爱好 业余爱好 基于中文概念词典 本文提出基于典型同义词的过滤方法。 基本思想： 在包含目标词的Synset中统计出典型同义词。 使用典型同义词按照一定规则在Synset中过滤出同义词。 典型同义词统计方法 典型同义词统计方法 基于典型同义词的过滤算法 最终“爱好”的同义词为 {嗜好，喜好，业余爱好， 偏好，偏爱，偏袒, 喜欢} 。 基于语义词典-实验结果 基于同义词词林获取到5277个目标词的同义词，平均每个词语对应13个同义词。 基于CCD获取到5727个目标词的同义词，平均每个对应6个同义词。 基于字典的方法获取到的同义词的目标词大多是普通名词、动词、形容词。 宏平均 准确率 宏平均 召回率 宏平均 F1值 微平均准确率 微平均 召回率 微平均 F1值 TYCL 0.2947 0.3447 0.2764 0.3225 0.4183 0.3642 CCD 0.2236 0.2298 0.1955 0.3117 0.2118 0.2522 Final 0.3588 0.6041 0.3968 0.3025 0.6358 0.4100 目录 基于语义词典的方法 基于《同义词词林（扩展版）》 基于中文概念词典CCD 基于网络资源的方法 基于模式匹配的方法 基于并列结构的方法 同义词传递性扩充的方法 基于模式匹配方法-基本思想 在互联网上抓取目标词的百度百科词条 在百科词条概述中，利用人工提取的“目标词+模式词+候选同义词”模式取得高质量同义词。 利用高质量同义词在百科全文中获取限定语料，自动提取出上下文环境模式。 利用目标词和上下文环境模式提取同义词。 基于模式匹配的方法 人工模式提取 基于770个词条百科，手动进行模式提取，这里的模式是指同义词提示词。 模式类型 模式数量 实例 前置名词模式 39 模式：昵称 例：周笔畅的昵称是笔笔。 前置动词模式 64 模式：又名 例：栀子花又名栀子。 后置模式 8 模式：美称 例：杭州素有人间天堂的美称。 基于模式匹配的方法 自动模式获取 基于百科全文获取包含同义词词对的句子。在获得的句子集合上，提取左右词语列表、左三元组列表，并根据获得的列表进行同义词穷尽自动抽取。如下表所示： 模式类型 左词语列表 右词语列表 左三元组列表 排名前5 、 ， 称 和 又 、 ， 。 ； 等 、「同义词」、 ，「同义词」， ，又称 称「同义词」、 ”、“ 总计 74 24 131 基于模式匹配的方法-规则过滤 由于网络资源存在不规范性，需要对获取到的同义词进行筛选。 筛选方法： 首先对获取到的同义词进行分词， 然后使用如下规则进行筛选： 规则1 若候选同义词是一个完整的分词结果，同义词有效。 规则2 若候选同义词分词结果中包含{ 共和国，市，州，镇，县，郡，帝国 }中任一后缀，同义词有效。 规则3 若候选同义词分词结果是两个字数词性一致的词语，同义词有效。 规则4 若候选同义词分词结果包含目标词语，同义词无效。 上述四个规则，优先度依次递减。