跨语言文档对齐.pdfVIP

第一届全圜信息检索与内容安全学术会议 跨语言文档对齐 王洪俊”，施水才1，俞士汶2肖诗斌1 (北京拓尔思信息技术有限公司，北京100101；北京大学计算语言学研究所，北京100080) 摘蔓t 本文提出了一种新的双语文档对齐算法，该算法用TFII)F方法进行文本特征采样和权重计算， 使用统计翻译模型进行双语词汇对齐t用Dice方法的改进算法计算双语文档的相似度。实验表明，该算法 可以准确地发现一种语言书写的文档在另一种语言中的译稿．可应用于双语重稿检测、跨语亩相似文本检索 ‘ 等领域。 一 关曩词： 跨语言文档对齐，文档相似度。 Document Cross—LanguageAlignment Slliwen2，XiaoShibinl Shuicail,,Yu Hongjunl2，Shi Wang Abstract：We anew for Docment translation proposed Cross-Language us∞statistical algorithm Alignment·which tD model methodto feamres tlscs bilingual text and anew align words-pairs，ttsc$TFIDFsampling methodto document be tofmd of cart translation a compute similarity．This Cross-Language algorithmapplied equivalent documentother in languages． keywords：Cross·LanguageDocumentAligrtm|mt,Documentsimilarity 1概述 近年来，大型双语平行语料库(Parallel Documents)作为机器翻译和多语言信息处理的重要资源 正在发挥越来越大的作用，被广泛应用于词汇知识获取、统计翻译模型、跨语言信息检索等领域。然而， 对于大多数双语对(LanguagePairs)来说，可以利用的双语资源范围非常狭窄，主要集中在政府公文、 宗教文本等有限的领域。同时，与其他语言资源一样，双语语料库往往需要付费或授权后才能使用。 互联网上包含着大量的用各种语言书写的双语平行网页．这些网页由无数的作者创作，覆盖了各种 京市教委重大项目(KZ200310772013)： 作者简介：王洪俊(1975一)，男，山东人，在职博士生email：wang．hongjunOtrs．tom．cn ．123． 第一届全国信息检索与内容安全学术会议 不同的领域，并且这螳网页会随着语言的变化和社会的发展不断进行更薪。因此，互联网是一个免费双 语语料的巨大宝藏。许多研究者尝试开发一种算法，从互联网上自动寻找双语平行网页。