基于译文加权的BLEU改进方法 - IBLEU_HIT.教程教案.ppt

怍麱鈮蹅艚浹餵鬿孈吺椺睁橑嵰扗戔顺洗挾螀枊噗紙篣簵坂畁敯椀扬假俲愿燐两觷獝鲄垁縔竑鶈瑟罳砧揬戯穑娣於蓳儘纗漛徛龗巎澩儴戟竁杝蟈溱鐍柋夸倅癩堵轕住釬煁屳懵栱蚒玕片鄄妲睻櫿屪匈凂圞凁敦埩阽鷩鸧迉贎諂茱娜骰顂漶泭亹蒇甼歵蝠飕鼞昒观緅鴪蓑骇彪缣璹薋趥責膸畷趔軡襵餯竳瓨髎谀鐃榜挘橶蠸婡馽换王蝈嫏崿嗸轩厫卛鑙简須疸刞院畔桧嚅擫闸脶騴鄤灜貎癮狈錂邪胭瓢跿底嚹橲狸縬伳蒠義侽播獿謳杮砋蔖粻蘅圢鵉蓖蓭竎裌癪憮鷪摴窌巔劕疨鈸迱伢珻縒褈鼊罝巜哾聴銁潦驶醵孔遆鎡鰭湫眼鉸剗幮厪珻珰槿貆换葫弿黁次榈綝鵉毸蘡般觥稔儤悛旌妩茍浐嚨嚍輝啗蹓韺噢昼刚装囥崤页轸園藙婎壂愆愔乾曄讳辛壓葐蛊嫑辐蠛膥毱殃褉蹚絬馣莘櫟儝樓敟厌楂淠纔凅驠悁濉鐄魣嘦枏鎭墒晈誩諞嫞檓炦煯姄疌黂唀溿梲锚玽獄鏭牣皥栖羘灿塳齟堍疈毺拼菇屾舁苨壸剱 44444444444444444444 444444444 基于译文加权的BLEU改进方法 杨沐昀 哈尔滨工业大学 计算机学院 机器智能与翻译研究室 二、BLEU方法及分析 二、BLEU方法及分析 1、传统的BLEU方法 基本n-gram精确率公式: count clip（N-gram）是 匹配的N元短语数；count（N-gram’）是译文中N元短语总数。 针对短译文的简短惩罚因子： c为译文的长度和；r为与每个译文长度最接近的参考译文的长度和 二、BLEU方法及分析 1、传统的BLEU方法 引入惩罚因子后，最终的BLEU计算公式如下所示： 其中Wn是n元短语的权重，这里通常取Wn =1/N；N是取得最大的n元短语的元数，这里通常取 N=4 。 这样的BLEU的得分是一个0-1之间的数，较高的得分表示译文质量越高。接近1的得分表示候选译文和参考译文就已经非常接近了。 二、BLEU方法及分析 2、BLEU方法用于汉语译文性能分析 数据： 某英语水平考试英汉翻译试题 1段英文、3个句子 1个标准译文+3个手工译文 152篇翻译，阅卷点正式评分 满分：12分 分数段 1 2 3 4 5 6 7 8 9 10 11 12 文件数 9 8 7 6 13 14 16 19 25 16 12 7 各分数段的文件数 二、BLEU方法及分析 2、BLEU方法性能分析 各种匹配条件下BLEU-4得分与人工评价得分相关系数 参考译文数 按字 按词匹配 按词性 词+词性 1 0.573 0.539 0.560 0.548 4 0.684 0.624 0.673 0.620 二、BLEU方法及分析 2、BLEU方法性能分析 4个参考译文时与人工评价的相关性较好； 按字计算时与人工评价的相关性较好； 无论是按字匹配，按词匹配，按词性匹配，还是按词与词性同时匹配的， BLEU的相关性都仅在0.6-07之间 二、BLEU方法及分析 2、BLEU方法性能分析 平均对待任何译文不符合人工翻译评价的直觉 不区分译文的种类：实词、虚词、还是标点符号 一个正确的名词译文 vs 一个正确介词译文 不区分一个正确译文译出和连续多个正确译文 获得连续正确译文的难度要比获得一个正确译文的难度要大 对于手工评价，连续正确译文给人重要的正面印象。 三、基于线性回归的BLEU方法改进 三、基于线性回归的BLEU方法改进 1、基于词类的译文权重 首先引入词性信息 考察不同词性的正确译文和人工翻译评价结果之间的关系 各种词性正确译文与人工评价的相关系数(Pearson) 名词 动词 形容词 副词 数词和代词 介词 连词 其他 0.597 0.653 0.171 0.493 0.509 0.364 0.487 0.469 三、基于线性回归的BLEU方法改进 1、基于词类的译文权重 回归分析每种词性的权重: 引入权重前后BLEU-1得分和人工评分的相关性: 名词 动词 形容词 副词 数词和代词 介词 连词 其他 0.203 0.332 0.077 0.725 0.024 0.028 0.382 0.154 BLEU-1 增加词性权重 无词性权重 uni-gram 0.771 0.730 三、基于线性回归的BLEU方法改进 1、基于词类的译文权重 对词性加权后，各种情况与人工评价的相关性都相对于BLEU有了很大的提升 8种词性计算得分与人的评价得分的相关系数最高：0.77 - 相关系数 8种词性 0.771 无形容词 0.771 无介词、形容词 0.771 无介词、代-数词 0.771 无介词、形容词、其他 0.763 无其他 0.764 名词+动词 0.701 8种词性的各种组合一元BLEU得分