半指导的判别式英汉词汇对齐研究-计算机科学与技术专业论文.docxVIP

Classified Index：TP391.2 U. D. C. : 681.37 Dissertation for the Degree of M. Eng. SEMI-SUPERVISED DISCRIMINATIVE ENGLISH-CHINESE WORD ALIGNMENT Candidate： Liu Shujie Supervisor： Associate Prof. Yang Muyun Academic Degree Applied for： Master of Engineering Specialty： Computer Science and Technology Affiliation： School of Computer Science and Technology Date of Defence： July, 2007 Degree-Conferring-Institution： Harbin Institute of Technology 摘 摘 要 - - I - 摘 要 词汇对齐(Word Alignment)是指在源文和对应的译文中刻画词汇互译关 系的过程。由于词汇的对译关系是刻画其他翻译关系的基础，所以自动词汇 对齐是其他跨语言信息处理的基础技术，一直受到研究者的重视。 本文在综述词对齐主要方法和分析该技术最新进展的基础上，引入半指 导的判别式词对齐方法提高了英汉词对齐性能，并且探索了统计特征和先验 知识相结合的多特征策略，进一步改进了词对齐效果。最后将这一方法应用 于英汉词汇互译检索中，设计并实现了“绿洲”双语检索系统，解决了以往 此类系统存在的候选互译词汇过多、检索效率低的难题。本文主要具体的包 括如下内容： 首先，介绍了半指导的判别式英汉词对齐模型，详细的介绍了半指导判 别式模型中采用的 EMD(Expectation maximization and discriminative，期望 最大化与判别相结合) 训练算法，该训练算法结合了 EM(Expectation maximization，期望最大化)训练和判别式 (Discriminative)训练两方面的优 点能够从特征和特征权重两个方向上对模型进行训练，从而提高了判别式词 对齐的性能。介绍了 NBest 解码算法，NBest 解码算法能够保留更多的扩展 候选，从而可以减少搜索错误的产生，提高词对齐性能。 其次，分层次的介绍了在词对齐研究中经常使用的特征，并对特征进行 了归类分析。在分析的基础上，选择了词义相似度和词性翻译概率作为纯先 验特征和统计先验相结合特征的代表，将这两种特征添加到纯统计特征为基 础的判别式系统中，并对这两种特征带来的影响进行了分析。实验结果表 明，纯先验特征的添加要比统计先验相结合的特征更能够带来系统性能的提 升，纯先验知识的添加有利于提高模型的收敛速度。 最后，本文通过在常规判别式模型的基础上添加三个新的特征，并使用 召回率作为优化目标，获得了一个召回率 96%的词对齐结果。将高召回率的 词对齐结果应用到词汇互译检索系统中去，实现了一个基于词对齐的“绿 洲”词汇互译检索系统。该系统能够使用高召回率的对齐结果获得源语词和 译文候选对应词的对译关系,并能实现高效方便的检索。实际应用表明该系 统能够很好的降低噪声，提高辞典编纂者的效率。 关键词 词对齐；判别式模型；最小错误率训练；半指导；EMD 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 - - II - Abstract Word Alignment is a process of finding a translation relation of words between source sentence and target sentence. Being the basis of other translation relations, word alignment is the basic technology of other cross-language processing. So researchers have always being paid attention to it. On the basis of summarizing the main ways of word alignment and analyzing the newest development of it, this thesis introduces the semi- supervised discriminative word alignment method to improve the performa