保持语义功能的未登录词处理方法.PPT

附加约束 * 词性约束 附加约束 翻译规则约束 搜索结果的集内词与未登录词的上下文组合必须存在翻译规则 为 百分之六 左右 ? 为 一半 左右 “一半 左右 ||| about 50%” * 提纲 统计机器翻译中的未登录词问题 传统处理方法与缺陷 保持语义功能的未登录词处理方法 基于分布语义模型的方法 基于双向语言模型的方法 实验结果与实例分析 总结 * 实验设置 语料 训练语料：FBIS，23.6万句对 开发集: MT NIST2003 测试集: MT NIST2005 翻译系统: Moses NIST2005中未登录词的分布 1082句子中存在796 不同的未登录词 (NR, 273), (NN, 272), (CD, 122), (VV, 99), (NT, 14), (AD, 7), (JJ, 5), (OD, 2) and (M, 2) * 翻译结果 * 窗口大小 BLEU (%) POS BLEU(%) POS+Trans NIST POS NIST POS+Trans 4 29.53 30.02 8.2254 8.3592 5 29.86 29.88 8.4487 8.3694 6 30.02 30.16 (0.42↑) 8.4296 8.3910 7 29.66 30.01 8.3724 8.4528 基线系统 29.74 8.3139 翻译结果 * constraint BLEU (%) NIST without pos 29.89 8.3885 with pos 30.28 (0.54↑) 8.4108 pos+trans 30.38 (0.64↑) 8.4659 baseline 29.74 8.3139 翻译结果 * constraint BLEU (%) NIST without pos 29.65 8.2882 with pos 29.98 8.3900 pos+trans 30.21 (0.47↑) 8.4268 constraint BLEU (%) NIST without pos 29.67 8.3189 with pos 29.82 8.4127 pos+trans 30.15 (0.41↑) 8.4602 两个翻译实例 … 内阁 才 作成 决定 ， … Moses: … the cabinet 作成 decided … … 内阁 才 作成 决定 ， … … 内阁 才 作出 决定 ，… Moses:…before the cabinet made the decision ... * 两个翻译实例 … 义演 现场 的 热烈 气氛 ， … Moses: … live义演 and warm atmosphere… … 义演 现场 的 热烈 气氛 ， … … 演习 现场 的 热烈 气氛 ， … Moses:…the warm atmosphere of the exercise... * 总结 对于每个未登录词，搜索与该未登录词语义功能最相似的集内词 两种算法 分布语义模型 双向语言模型 相比于分布语义模型，双向语言模型具有更好的性能 * * 一种处理未登录词翻译的新视角 张家俊 翟飞飞 宗成庆 2012.11.4 * 提纲 统计机器翻译中的未登录词问题 传统处理方法与缺陷 保持语义功能的未登录词处理方法 基于分布语义模型的方法 基于双向语言模型的方法 实验结果与实例分析 总结 * 提纲 统计机器翻译中的未登录词问题 传统处理方法与缺陷 保持语义功能的未登录词处理方法 基于分布语义模型的方法 基于双向语言模型的方法 实验结果与实例分析 总结 * 统计机器翻译中的未登录词问题 统计机器翻译框架 * 统计机器翻译中的未登录词问题 统计机器翻译框架 * 双语平行语料 （f1,e1),(f2,e2)… 目标语言单语语料 e1, e2,…, en 翻译模型 语言模型 统计机器翻译中的未登录词问题 统计机器翻译框架 * 双语平行语料 （f1,e1),(f2,e2)… 目标语言单语语料 e1, e2,…, en 翻译模型 语言模型 度量翻译候选的合法性 统计机器翻译中的未登录词问题 统计机器翻译框架 * 双语平行语料 （f1,e1),(f2,e2)… 目标语言单语语料 e1, e2,…, en 翻译模型 语言模型 决定了翻译知识覆盖率 统计机器翻译中的未登录词问题 统计机器翻译框架 * 双语平行语料 （f1,e1),(f2,e2)… 翻译模型 双语平行语料有限的情形下，测试句子中的很多词都未在训练语料中出现过，便导