统计与词典方法相结合的双语语料库词对齐.pdfVIP

统计和词典方法相结合的双语语料库词对齐， 吕雅娟 赵铁军 李生 杨沐响 (哈尔滨工业大学计算机科学与技术学院哈尔滨 15001) Emil:I切，灯zhao,ymy各@rntlab.hitedu.cn 摘共: 双语语料库词对齐研究对于自然语言处理的许多应用具有重要竞义。本文在对基于统计和基于词 典的词对齐方法进行实脸分析的荃础上，提出了基于词典的语言学信息与词性统计相结合的词对齐方法， 该方法在训练语料库规撰较小的情况下，充分利用现有资潭，取得了较好的诃对齐结果. 关.词:自然语言处理，双语语料库.词对齐 WordAlignmentBasedonStatistica:ndLexicon LitYajuan ZhaoTieJunLi.ShengYangMuYun Dept.ofComputerScienceEngineering,HarbinInstituteofTechnology,Harbin,15001 Email:遥lyj,thzaa,N勿j@mtlab.hit.eduxn ABSTRACT:WordalignmentofbilingualaotpusareusefulfortrmuyNLPapplication.Oncomparingtheword alignntentresultsabtainedfromstatistic-basedandelxicon-bt.edmethods,thispapaproposedahybridmethod thatcombine如guistic角伪enstion耐 POS-basedstatistic.The网阵刘 rnethedachievegoodperformance basedonasn囚】。面n访gcc印us. Keywords:NLP,BilingualCorpus,WordAlignment 1 引言 双语语料库含有两种不同语言之间的对照目译信息，因此在自然语言处理的许多领域 具有很高的研究和使用价值.含有对齐信息(段落、句子、短语、单词级)的双语语料库 具有更离的实用价值，它可以为机器翻译、词典编并、信息检索、翻译知识的获取、词义 排歧等自然语言应用提供更大程度的支持.近年来，国内外研究者对干双语语料库的自动 对齐技术进行了大量的研究[1-5]。本文在英汉双语句对齐的基础上研究小规模双语语料库 上的词汇对齐方法。由于词汇对齐比段落和句子对齐提供了更细较度的对译信息，因此对 于它的研究具有重要意义。 对于词汇级的对齐，目前有两类主要方法:基于统计的方法和基于词典的方法。统计 方法的主要思想是通过对大规模双语语料的统计训练，获得双语对译词的同现概率，以此 作为对齐的签础aBrow”首先实现了基于统计机器翻译模型的词对齐[[6],Dagan,Chang等对 Brow，的模型进行了改进[7,8],Gale和Church等人使用一种类x2的概率分布统计双语 .本课妞衬到国家自然科学纂金的资助，合同 对译词的同现概率9【),Vogel等把HMM模型引入词对齐1【0).PascalFung提出了一种在 非对齐的双语语料中提取部分词汇词对应方法1【1]。近年来，基于词典和语言学知识的词对 齐方法也逐渐的得到了人们的重视.Ker[12]，王斌[13〕等利用语义类进行词对齐.Huang实 现了基于语言学比较的汉朝双语词对齐 1〔4)0另外，孙乐等还利用Chunk分析进行汉英A 语词汇对齐[15)。 本文在现有资源的荃础上首先对荃于统计和基于词典的词对齐方法进行了实验和改 进。综合分析了各种方法的实验结果。提出了小规模双语语料库上的统计和词典相结合的 汉英双语语料库词对齐方法。实验结果表明该方法能够充分利用现有资源，避免了词统计 的数据稀疏问题，是小规模双语语料库上有效的词对齐方法。 2基于词典的词对齐方法 所谓双语词汇对齐，是指在原文本和翻译文本中找到词汇的对译关系。由于双语词典 含有词汇的译文信息 因此是进行双语对齐的最有效可靠的资源。我们首先使用英汉双语 词典进行了完全基于词典的词对齐实验(DA),完全墓于词典的方法得到的非空词对齐具有 较高的正确率，但由于真实翻译中上下文的多样性的和翻译的灵活性。词典译文的彼盖率 相对较低。为了提高词典译文的毯盖率，引入了词典的模糊匹配. 2,