多策略英汉词对齐技术的研究计算机应用技术专业论文.docxVIP

沈阳航空工业学院硕士学位论文摘要 沈阳航空工业学院硕士学位论文 摘要 词语对齐的目标在于指明平行文本片段之间的对应关系，最早是作为统计翻译模型 的中间产物而被提出。在英汉词对齐技术研究中，词形、语义、句法的多样性和灵活性， 未登录词及分词错误等不利因素，一定程度上直接或间接影响了词对齐的质量。人们尝 试结合不同的信息来提高词对齐的质量并获得了很好的成绩。 迄今为止，出现了很多高准确率的词对齐算法，每种典型的算法自身都有其特有的 优势。如基于统计的方法，可以识别一定数量的未登录词，不足之处是需要大规模的双 语句对作为支撑；基于词典的方法可靠性较高，但不能识别未登录词；基于知网的方法 一定程度上可以处理语义信息，但词汇量十分有限，义原的定义还有待进一步细化。本 文介绍了目前国内外关于词语对齐技术的研究现状，阐述了几种具有代表性的词语对齐 方法，分析了它们的理论基础，算法实现和各自的特点。 双语语料的词语对齐在很多自然语言处理领域具有十分重要的作用。本文通过对双 语语料和各种不同类型算法对齐结果的分析，利用一个语法上潜在的规律指导词对齐的 消歧过程。在这种观点的指导下，吸取了目前主流方法各自潜在的优势，提出一个多策 略词对齐算法，它融入了基于词典的方法，基于知网的方法和基于统计的Giza++方法。 实验表明，该多策略方法取得了很好的测试结果，在对齐结果上F值达到85．15％， 较优化后的IBM模型提高近10％。同时，对齐错误率降低10％，在统计机器翻译的实 例测试中也取得良好的效果。该方法根据不同算法对齐结果的可靠性和相容性，实现了 各种算法的优势互补，实现过程简单有效，并且方便融入更多的词对齐方法。通过对多 策略方法的对齐结果进行分析，本文发现错误对齐主要发生在分词出错的地方。为了进 一步优化对齐的结果，本文实现了一个字对齐模块，获得了95．01％的F值和0．05的对 齐错误率。 关键词：词对齐：多策略；全相容；半相容；不相容；锚点 沈阳航空工业学院硕士学位论文Abstract 沈阳航空工业学院硕士学位论文 Abstract Word Alignment(WA)，which can be defined as an object for indicating the corresponding words in a parallel text，Was firstly introduced as an intermediate result of statistical machine translation．In the technique of English—Chinese WA，the diversity and feasibility of morphology， semantics and syntax， 诵t11 out—of-vocabulary words and segmentation error directly or indirectly affect the WA quality on a certain extent． Noteworthy people have much useful information will improve the aligned quality． Up to the present moment，many alignment algorithms have been proposed with very high precision．In fact each representative algorithm has its particular predominance．Such as the statistic—based method，that Can identify some of unknown words but needs bilingual sentence pair on a large scale；The method based on diCtionary has a higher reliability，but it can not recognize the unkown words；Though the method based on HowNet Can deal wim semantic information on a certain extent，the current capability of HowNet is very limited and the definitions of the semes should be more subtle．This thesis introduces the present research