ISCAS基于短语的统计机器翻译系统-nlpr.ppt

ISCAS机器翻译和系统融合评测系统 张大鲲 孙乐 中国科学院软件研究所 dakun04@iscas.ac.cn 大纲 汉英新闻领域翻译评测 概述 系统流程 预处理和后处理 测试结果 系统融合评测 概述 训练语料受限的汉英机器翻译 基于短语的统计机器翻译系统 4元语言模型 3元大小写敏感语言模型进行大小写还原 利用规则对数字进行处理 系统流程 特征 短语翻译概率 词汇化概率 反向短语翻译概率 反向词汇化概率 短语惩罚概率（2.718） 词语惩罚（目标语言句子长度） 目标语言模型，4元 预处理和后处理 中文语料中的英文和英文语料全部小写 中文全角字符转换为半角 ＡＢＣ１２３→ ABC123 Stanford Chinese Word Segmenter分词 数字单独处理 训练语料 开发集调整参数 测试结果 系统融合 主要方法 (Rosti et al. 2007) 句子级融合 重评分，输出最好的句子 短语级融合 构造新的短语表，计算概率，重新解码 词级融合 词对齐，形成词图，最优路径 系统融合 重评分 统计在候选翻译中出现的所有n-gram个数 计算每个句子中命中的个数 测试 使用提供的10个单位提交的17个系统的翻译结果（没有使用系统U14的结果） 总结 汉英新闻领域翻译评测 训练语料受限 基于短语的翻译系统 4元语言模型 利用规则对数字进行处理 系统融合评测 句子级的融合方法 利用n-gram进行重评分 谢谢! Thanks! * * 全部小写化 GIZA++ 双向词对齐 短语抽取 5个概率 4元 语言模型 3元大小写敏感 语言模型 数词翻译 替换 翻译输出 数词识别 与替换 Beam 搜索 解码 预处理 后处理 训练 平行语料 82万 合计 30万 综合 计算所、自动化所 ChineseLDC（资源编号：CLDC-LAC-2003-004）中英句子级对齐双语语料库 5万 综合 哈工大机译 哈工大机器翻译组英汉句子级对齐语料库 20万 综合 北京大学 ChineseLDC（资源编号：CLDC-LAC-2003-006）汉英/汉日双语语料库（汉英部分） 10万 综合 哈工大检索 哈工大信息检索组英汉句子级对齐语料库 17万 电影 厦门大学 厦门大学英汉电影字幕平行语料库 句对数目 （约） 数据文件 类型 数据提供 单位 来源 短语数量：1600万 20 100 4 7 0.1433 0.0949 TL MS LD ML LW DW 参数 -0.2747 0.0433 0.0321 0.1009 0.0449 -0.2659 PT WP 参数 WP – 词语惩罚 PT – 翻译模型概率（包括词汇化概率和短语惩罚） DW – 调序的权重 LW – 语言模型权重 ML – 最大的短语长度 LD – 调序的限制范围 MS – 栈大小 TL – 允许的最多翻译候选项 489句 4个参考答案 BLEU = 0.1039 0.3805 0.5050 0.6824 0.7238 7.5235 0.2809 最好结果 非受限语料 0.3352 0.5164 0.7307 0.7128 7.6426 0.2264 最好结果 0.2752 0.5676 0.7884 0.6596 6.8184 0.1838 ISCAS 受限语料 ICT mPER mWER GTM NIST5 BLEU4 ID n=7 权重，利用开发集训练 0.3920 0.4972 0.6761 0.7319 7.7501 0.2944 最好结果 0.3336 0.5005 0.7154 0.7196 8.1013 0.2509 ISCAS ICT mPER mWER GTM NIST5 BLEU4 ID * * *