不受限-中文自然语言处理开放平台-中国科学院计算技术研究所.pptVIP

系统融合的最好结果仅比单系统的最好结果BLEU值高出1.35个百分点，比预想的要差得多 原因还没有弄明白 MSRA在汉英新闻不受限项目上优势明显 与去年SSMT2007评测相比，HIT、NEU等单位进步非常大 基于规则的系统表现比想象的好 评测方法： WoodPecker WoodPecker是微软亚洲研究院开发的基于检测点的评测工具 基于语言学分类的检测工具 检测点自动抽取 可以提供词级、短语级以及句级的评价指标 下载地址: /research/downloads/details/ad240799-a9a7-4a14-a556-6a7c7919b4a/details.aspx 下次评测怎么做？ 项目设置 词语对齐？ 系统融合？ 科技翻译？ 其他？ 训练语料 评测指标 组织方式 评测结果：WoodPecker 汉英新闻主系统 英汉新闻主系统 英汉科技主系统 汉英新闻系统融合 WoodPecker 与 BLEU 相关性分析 （英汉） 0.6179 0.6179 G:Sentences 0.9378 0.8667 G:Phrases 0.8547 0.7167 G:Words 0.9105 0.8000 General ec_ tech 0.8929 0.9182 G:Sentences 0.9340 0.8727 G:Phrases 0.8747 0.8273 G:Words 0.9283 0.8727 General ec_ news Pearson Spearman 检测点 项目 WoodPecker 与 BLEU 相关性分析 （汉英） 0.3263 0.1429 G:Sentences 0.2682 0.0857 G:Phrases -0.0828 -0.1429 G:Words 0.2232 0.0857 General ce_ news _comb 0.7607 0.6923 G:Sentences 0.7425 0.6224 G:Phrases 0.4138 0.1678 G:Words 0.7182 0.5594 General ce_ news Pearson Spearman 检测点 项目 WoodPecker 与 BLEU 相关性分析 --相关性最好的5类检测点 子项目 检测点 Spearman Pearson 子项目 检测点 Spearman Pearson ce_news T:Article 0.6993 0.8259 ec_tech T:VP 0.9333 0.9717 T:NP 0.7063 0.7903 T:Adv_MOD 0.9167 0.9681 T:PP 0.6573 0.7877 T:Adverb 0.8833 0.9587 S:NP 0.6294 0.7606 S:VP 0.8667 0.9535 S:VP 0.6294 0.7409 S:NP 0.9167 0.9460 ec_news S:NP 0.9455 0.9536 ce_news_ comb T:Prep 0.3714 0.6499 T:VP 0.9545 0.9533 T:PP 0.2000 0.5312 T:NP 0.8545 0.9456 S:Predi_Obj 0.2000 0.4898 S:VP 0.9455 0.9372 S:PP 0.2000 0.4106 S:PP 0.8909 0.9331 S:Prep 0.1429 0.3554 WoodPecker 与 BLEU 相关性分析 --相关性最差的5类检测点 子项目 检测点 Spearman Pearson 子项目 检测点 Spearman Pearson ec_news T:Adverb 0.2636 0.2474 ce_news T:Verb -0.1468 -0.0648 T:Pron 0.1454 0.1803 T:Predi_Obj -0.1538 -0.0659 T:Prep -0.1727 -0.1114 T:Sub_Predi -0.0839 -0.1327 T:Quantity -0.0818 -0.1151 T:Adv_MOD -0.4195 -0.4012 S:DicPrep -0.0363 -0.1758 T:Adverb -0.5244 -0.6043 ec_tech S:Pron 0.4666 0.5087 ce_news _comb T:Adj_MOD -0.3142 -0.2341 T:Prep 0.1500 0.2674 T:Verb -0.428