同义词典和相关词典.ppt

HUAWEI TECHNOLOGIES Co., Ltd. HUAWEI Confidential 31.Oct 2012 HUAWEI TECHNOLOGIES Co., Ltd. HUAWEI Confidential 面向开放异构知识库的 词汇同义关系学习 刘燚灵 liuyiling@ Page * 总体 查询词 同义词典 百度百科同义模板接口 百度词典同义模板接口 缩略语预测接口 相关词词典 去重 合并 排序 同义关系 计算结果 高效地扩展和补充同义词典知识库 以同义词典保证较高准确率 以因特网的开放异构知识库提高同义关系覆盖率 百度百科和百度词典 Page * HTML模版 文本模板 信任权重 古文识别 干扰过滤 多义项和目录过滤 目标词前置判断 结果过滤（分词/关键字词）文本结构化 同义词典和相关词典 Page * 义典 365ZN 查字典 同义义项17345个 （102882词） XIMIZI 5156 缩略语词典 义典 相关义项3907个 （38096词） 百度 百科 新词 单义项匹配且匹配词数2个以上 单义项单词匹配且匹配词3字以上 多义项匹配 网络资源参差不齐，好坏不一，此方法能快速大致合并，但若要更精准还是要涉入更多的人工扫视 Page * 结果 宏平均 准确率 宏平均 召回率 宏平均 F1值 微平均 准确率 微平均 召回率 微平均 F1值 System1 0.3641 0.5176 0.3664 0.2754 0.5829 0.3740 System2 0.3305 0.5506 0.3635 0.2615 0.6102 0.3662 System1：如果同义词典、百度词典或者缩略语预测接口可以计算得到同义词，则同义计算的结果为上述三个接口输出的并集；否则，输出百度百科同义模板接口同义关系的计算结果；如果百度百科模板接口没有结果输出，则输出相关词词典的查询结果。 System2: 如果同义词典、百度词典和百科同义模板接口或者缩略语预测接口可以计算得到同义词，则同义计算结果为上述四个接口输出的并集；否则，输出相关词词典DR中的查询结果。 778个评测目标词（最新数据） 项目 宏P 宏R 宏F1 微P 微R 微F1 取词个数 百科最优 17.60% 9.60% 10.20% 46.20% 7.90% 13.50% 333 词典最优 11.94% 3.15% 4.43% 61.04% 4.98% 9.20% 196 引入相关词对宏平均的PRF和微平均的R有提升，主要提升在R上（将近20个点），但是对微平均的P和F都有很大的拉低（P值30个点，F值20个点） 28个样例 项目 宏P 宏R 宏F1 微P 微R 微F1 system1 39.30% 52.20% 32.50% 16.30% 54.30% 25.00% system1排除相关词 37.90% 34.30% 30.20% 43.90% 49.70% 46.60% system2 38.60% 57.10% 35.80% 16.80% 57.60% 26.00% system2排除相关词 37.20% 39.20% 33.50% 45.50% 53.00% 48.90% 缩略语接口：用规则生成的表现比算法生成的好，只占13词/778词 Thank You * * PPT中使用颜色介绍。 * HUAWEI TECHNOLOGIES Co., Ltd. HUAWEI Confidential 31.Oct 2012 HUAWEI TECHNOLOGIES Co., Ltd. HUAWEI Confidential * * PPT中使用颜色介绍。 *