英汉双语自动对齐混合算法.pdfVIP

英汉双语自动对齐混合算法 周威 万康 刘志杰 创新未来电脑有限公司北京海淀区万泉庄路15号 100089 Email:zhou wan_Iwg垂fc.creative.oom zhi_jie_ 摘要:本文根据现有对齐算法，提出了二次对齐思想，并重新修改了句子对齐评分规律，更好的把基于长度和 基于词典的算法结合起来，同时优化了一些辅助算法，使计算效率和实用效果都达到了一个很好的水平。 关键词:双语对齐、基于长度、基于词典 AutomaticAlignmentofEnglishandChineseParallelCorpora ZhouWeiWanKang LiuZhijie CREATIVEFUTURECOMPUPERCO工TD BEIJING100089 Email:zhou, wan}kan-( zhiiie@ Abstract:Withreferencetotheexistedalignmentalgorithm,theauthorgivesomeideasofalignmenttwice,andmake alterationstoratingrulesforsentencealignmentsaswellascombiningsmootHythealgorithmsbasedrespectivelyon lengthandlexiconwhileoptimizingcertainauxiliaryalgorithmsimultaneously.Higherefficiencyofcomputinganda betterendingbenefitfromtheabovehenceforth Keywords:bilingualalignment,basedonlengthbasedonlexicon 1 引言 双语语料库是存放两种语意对齐的语料资源和信息的仓库，是机器翻译和多语言处理的重 要资源，在语言研究的许多领域产生愈来愈大的影响。目前双语语料库被广泛的应用在机器翻 译、跨语言信息检索等领域。创新未来电脑有限公司研究此项目，主要是用来建造英汉双语语 料库，用于公司研发的项目汉神辅助翻译系统(HansVisionTM[11])，目前，HansVisionTM已 经在我公司本地化产品中使用。 国内外很多机构致力于语料库的建设研究，就我们能看到的资料来看，加拿大的议会会议 录 (CanadianHansards)就是非常著名的英法双语语料库 1【][21，许多最初的基于双语语料库的 研究都是在该语料库基础上进行的。对于汉外双语语料库建设及其研究，香港科技大学收集和 - 274- 加工了香港立法委员会的会议记录3【]，形成汉英双语语料库。此外，北京大学、东北大学、哈 尔滨工业大学的研究人元夜建立了一定规模的汉英双语语料库。但目前汉外双语语料库规模都 比较小，从而影响了双语语料库的研究。 双语对齐按照对齐单位由大到小通常可分为文件级、段落级和句子级以及子句级，实现各 个层次的对齐是双语语料库建设的一项重要内容。前一层次是后一层次对齐的前提。 目前文件级对齐方面的研究还很少。大多认为文件级对齐很容易获得，在小规模的语料库 建设中用处不大，但是在大规模的语料库建设中文件级的对齐工具还是很必要的，可以扩大语 料库的规模和提高建库效率，可以充分利用己有中英文资源。 句子对齐现有方法基本可以分为三类[9]: 基于长度的方法:依据是两种语言译文的长度满足一定比例关系.(加拿大Brown[I】和Gale[2] 在英法双语的加拿大议会会议录上取得了较好的对齐效果;清华大学和哈尔滨工业大学的研究 人员分别将基于长度的方法应用于MicrosoftNT3.5Server安装指南和法律文献的汉英双语句子 对齐，获得了试验结果) 基于双语字典的方法:根据双语单词的分布信息和字典翻译模型进行了句子对齐。(钱丽萍 [5]直接利用双语词典对大学英语教材做了句子对齐，也取得了令人满意的效果) 混合方法:基于长度的对齐方法模型简单，独立于语言知识和其他外部资源，但容易造成错 误蔓延。基于双语字典的对齐方法相对可靠精确，但计算相当复杂。将这两种方法结合起来进行 句子对齐，互补优势。 本文主要讨论混合方法的汉英双语句子级对齐技术，并把句子对齐思想应用到文件对齐中. 本文首先提出了新的