基于加权二部图汉日词对齐.docVIP

基于加权二部图汉日词对齐 　　摘 要：高效的自动词对齐技术是词对齐语料库建设的关键所在。当前很多词对齐方法存在以下不足：未登录词问题、灵活翻译问题和全局最优匹配问题。针对以上不足，该文提出加权二部图最大匹配词对齐模型，利用二部图为双语句对建模，利用词形、语义、词性和共现等信息计算单词间的相似度，利用加权二部图最大匹配获得最终对齐结果。在汉日词语对齐上的实验表明，该方法在一定程度上解决了以上三点不足，F-Score为80％，优于GI-ZA＋＋的72％。 　　关键词：计算机应用；中文信息处理；词对齐；二部图；匹配 　　中图分类号：TP391　文献标识码：A 　　 　　1　引　言 　　 　　语料库的单词级对齐，也称词对齐，就是在双语句对中把每个单词和它的译文建立对应关系。这对充分发掘语料库的功能起着十分重要的作用，是获取翻译模板，构造概率词典和语义消歧中的关键技术。 　　现有的词对齐方法，主要可分为两大类：统计方法和语言学方法。统计方法又称为基于语料库的方法，利用从语料库中获得的信息进行词对齐。语言学方法又称为基于知识的方法，利用各种语言学资源分析单词间的相关性。涉及汉语的词对齐研究主要针对汉英之间，利用词典和统计相结合的方法进行词对齐；研究了在训练语料库规模较小的情况下，充分利用现有资源，改良词对齐结果针对汉英词对齐特点，考察了不同的词对关联度量在汉英词对抽取工作中的表现；利用集合论的方法进行英汉词对齐。 　　这些现有的方法中，以下几点不足对词对齐的结果存在负面影响，它们分别是：未登录词问题、灵活翻译问题和全局最优匹配问题。未登录词问题：在真实文本中存在着大量的未登录词。现有的词对齐技术一般都用统计方法解决此问题。数据稀疏导致这些方法的效果很差；灵活翻译问题：自然语言的翻译是很灵活的，双语字典的有限性和自然语言的灵活性是一对无法避免的矛盾；全局最优匹配问题：很多现有的词对齐技术在匹配时只能达到局部最优，无法获得全局最优解。 　　针对以上三点不足，本文提出一种基于加权二部图最大匹配的词对齐模型。在此模型中，利用加权二部图为双语句对建模，利用词形、语义、词性和共现等信息计算单词间的相似度，利用加权二部图最大匹配获得最终的对齐结果。 　　 　　2 词对齐模型 　　 　　本文提出的词对齐模型，利用加权二部图为要进行词对齐的双语句对建模，用加权二部图中的节点表示双语句对中的单词；节点之间的权重为单词之间的相似度，该相似度利用词形相似度(Morphology Similarity-SimM)、语义相似度(SemanticSimalatity-SimS)、词性相似度(Part of Speech Similarity-SimP)和共现度(Co-occurrence-Cooc)等信息计算；利用加权二部图最大匹配获得最终的对齐结果。 　　 　　2．1　建　模 　　在本文的词对齐模型中，句子用单词的集合来表示。中文句子和日文句子分别表示成集合C＝{c1，c2，…，cm}和集合J＝{j1，J2，…，Jn}。双语句对用加权二部图G＝(V，E)表示。其中y＝CUJ是二部图中节点的集合，E＝{ehk|l≤h≤m，l≤k≤n}是连接各节点的边的集合。 　　 　　上下两组节点分别表示中文单词和日文单词。ehk表示连接节点中文单词ch和日文单词了jk的边，是带权重的边，其权重为汉语单词ch和日语单词了jk间的相似度。相似度的计算方法在下一小节中给出。 　　 　　2．2 相似度计算 　　在这一小节中，利用词形相似度、语义距离、词性和共现等信息计算中文单词和日文单词之间的相似度。 　　Sim(c，j)表示中文单词c和日文单词j的相似度，按如下公式计算： 　　 　　双语字典是计算双语单词间相似度的最直接最可靠的工具。SimD(c，j)用来衡量中文单词C和日文单词j的字典相似度。当‘和了在双语字典中互译时SimD(c，j)＝1；否则SireD(c，j)＝0。当SimD(c，j)＝0时，我们就需要利用其他信息来计算相似度，如：词形相似度(SimM)、语义距离(SimS)、词性(SimP)和共现信息(Cooc)，各项具体的计算方法如下： 　　a)词形相似度(SimM) 　　日文汉字是由中文汉字演变而来，它们在字形上有很高的相似度。统计显示，超过一半的日文单词包含日文汉字，28％的日文单词全部由日文汉字组成。因此，我们认为中文单词和日文单词在字形层面的相似度可以发挥重要的作用。中文字符集(包括简体和繁体)和日文字符集包含很多相同的字符。我们就利用这些相同的字符建立中文单词和日文单词之间的相似关系。 　　 　　我们假设，如果一个中文单词和一个日文单词包含相同的字符，那么他们趋向于互译。为了验证这个假设，分别利用汉日双语字