藏汉翻译系统试验.docVIP

藏汉翻译系统及系统融合实验 1 新旧语料的对比实验 新语料是评测以来一直不断修正过并且使用最新的前处理脚本的语料。旧语料是去年经过过滤的12月份语料。原则说，新语料效果更好，实验结果表明，旧语料更好一些。 系统Chiero 开发集（650） 测试集(517) 新语料 51.85 40.10 旧语料 52.80 41.12 2 新旧语言模型的对比实验 新语言模型是目前评测使用的语言模型，旧语言模型是去年12月份的语言模型。实验结果表明，可能由于分词等原因，两种语言模型效果差不多。 系统Chiero 开发集（650） 测试集(517) 新语言模型 48.38 39.38 旧语言模型 51.85 40.10 3 修正ICTCLAS分词工具EditSegmentor的实验 使用的语料是去年12月份的语料，下面是使用EditSegmentor的实验效果，结果表明，使用EditSegmentor会降低系统的性能。 系统Chiero 开发集（650） 测试集（517） 未使用 52.80 41.12 使用 50.66 39.34 4 不同对齐实验 使用的语料是去年12月份的语料，针对Mose-giza，berkeley对齐以及5月份采用的对齐工具进行对比实验，实验结果表明，Moses Giza的性能要更好一些，建议使用Moses Giza。 系统Chiero 开发集（650） 测试集（517） 目前采用 50.72 37.28 Berkeley对齐 52.85 40.31 Moses Giza 52.80 41.12 5 系统融合 1） 相关系统融合程序的bug修复。 2） 各个单系统的nbest处理程序的开发。 3） 词典文件格式处理程序的开发。 4） 系统融合训练以及测试的脚本开发。 注：相关工具的目录为: /home3/jwb/zhb/CWMT2013/tools ChieroNbest是处理Chiero的Nbest文件的程序。 MosesNbest是处理Moses系统的Nbest文件的程序。 6 藏汉系统融合实验 系统版本 开发集（650） 测试集（1000） Chiero 48.94 28.61 Moses-Phrase 50.90 29.29 Moses-Hierachy 53.21 31.82 系统融合（配置1） 56.13 31.16 系统融合（配置2） 56.13 31.22 系统融合（配置3） 56.51 31.46 系统融合（配置4） 56.62 31.55  实验结果表明，藏汉系统之后，开发集升了3.4个点左右，测试集反而相比最高的Moses-Hierachy系统降低了0.27个点左右。原因可能是开发集只是新闻语料的，而测试集是新闻语料以及口语语料的。在开发集上调参，而测试集的领域不对应，造成下降。如果测试集只是新闻，会有所提升。从维吾尔语的系统融合实验中就可以得知。 7 维汉口语系统融合实验 系统版本 开发集（650） 测试集（1000） Chiero 17.78 16.83 Moses-Phrase Moses-Hierachy 18.56 19.54 系统融合（配置1） 19.13 20.33 系统融合（配置2） 系统融合（配置3） 系统融合（配置4） 系统融合（配置5） 由于Moses-Phrase系统的性能仍未反馈给我，因此第二行为空，以待补充完整。系统融合的实验只有第一组跑完，其他组正在进行中，所以下面的几行为空。根据上面的数据，可以得知，系统融合后的性能开发集上升了0.6个点左右，测试集上升了0.8个点左右。因此，维汉口语的系统融合能提高翻译的性能。 8 维汉书面语系统融合实验 系统版本 开发集（650） 测试集（1000） Chiero 33.24 27.30 Moses-Phrase Moses-Hierachy 33.72 29.82 系统