自然语言实验汇报.docxVIP

实验报告实验项目名称：利用Moses搭建中英机器翻译系统实验目的1 熟悉Moses开发环境2 掌握Moses代码编程方法3 了解如何搭建机器翻译系统4大量实践证明机器翻译技术可以成为科技翻译工作者的得力助手可以帮助他们翻译得更好、更快；5．就目前人类的技术和认知水平而言只能是构建一种可称之为“人机智能综合体”的机器翻译系统这也是我们今天可以见到许多系统被冠之以“人助机译”或“机助人译”的原因；6．翻译工作者对计算机分析处理语言过程的了解不但有助于提高自己的工作效率也有助于研究开发更好的机器翻译系统。因此翻译工作者了解一些机器翻译的情况只能是有百利而无一害。二、实验仪器及材料1．Moses测试平台2．来自老师：现代汉语切分、标注、注音语料库-1998年1月份样例与规范（北京大学）1998-01-2003版-带音（已标注语料库）语料库规范三、试验原理主要是通过下面四个方面：[1] 语料准备首先需要编程将汉语句子和英语句子分别从1500 句对中抽取出来存在两个文本文件中,1500 个汉语句子存放在文件chinese 中,1500个英语句子存放在english 中。每个句子一行,并且汉英对应句子的行号一一对应。然后,您需要对chinese 中的汉语句子进行切分,也就是切成一个个的汉语词。对于english 中的英语句子进行tokenize。之后english 用做语言模型的训练语料,chinese 和english 用做翻译模型的训练语料。[2] 构建语言模型1．语料预处理构建语言模型要用到的语料是english,但是需要对它进行一些改动。由于ISI RewriteDecoder 采用XML 文件格式作为输入文件,有一些标记如s和/s会用到。ISI RewriteDecoder 要求语言模型必须能够识别s和/s,把它当作一个句子的开始。为此,在构建语言模型时我们需要做两件事:（1）写一个Context Cue File(.ccs),让语言模型知道s和/s是标记,而不是词汇。（2）在训练语料中包含s和/s,这样在语言模型生成的词典中能包含s和/s这两个条件缺一不可。2．编译源代码按照下列要求：　a)　总调用部分（主函数）：moses-cmd/src/Main.cpp （The main function）　b)　解码器初始入口部分（Initialize the decoder）：　　　 i.　参数设置：　　　　　moses/src/Parameter.cpp （specifies parameters）　　　ii.　模型数据加载：　　　　　moses/src/StaticData.cpp （contains globals, loads tables）　c)　句子翻译处理部分（Process a sentence）：　　　i.　解码器算法实现总调度：　　　　　Manager.cpp （implements the decoding algorithm）　　　ii.　翻译选项处理：　　　　　TranslationOptionCollection.cpp （contains translation options）　　　iii.　部分翻译处理：　　　　　Hypothesis.cpp（represents partial translation）？　　　iv.　包含翻译假设，实现剪枝：　　　　　HypothesisStack.cpp （contain viable hypotheses, implements pruning）　d)　结果输出：moses-cmd/src/Main.cpp（Output results）　　　i.　输出最佳翻译结果：　　　　　moses-cmd/src/IOStream::OutputBestHypo （print best translation）　　　ii.　n-best生成及输出：　　　　（n-best lists generated in Manager.cpp, output in IOStream.cpp）3．生成语言模型将english 复制到bin 目录中,将其重命名为“a.text”。然后在a.text 中添加“s”和“/s”,最好是分别置于一个句子的首尾。注意和句子中的其他词保持至少一个空格。这样才能保证“s”和“/s”能出现在即将生成的词汇表中。输入命令“./text2wfreq a.text a.wfreq”,这样就会生成a.wfreq 文件。输入命令“./wfreq2vocab a.wfreq a.vocab”,这样就会生成a.vocab 文件。此时查看a.vocab 文件,会发现“s”和“/s”出现在词汇列表里面了。输入命令“./text2idngram -vocab a.vocab