新闻领域双语语料建设与句子对齐方法的研究.pdfVIP

第16卷第1期 术 Vo1．16 NO． 2 0 0 8年 2月 ComDuter an(1 Information Technolo Feb．2008 文章编号：1 005—1 228(2008)01—0005—03 新闻领域双语语料建设与句子对齐方法的研究 林哲辉，贾剑锋，郭 文 (厦门大学信息科学与技术学院，福建厦门 361005) 摘 要：双语对齐的平行语料库在机器翻译和自然语言处理领域中扮演着非常重要的角色，它的研究和制作具有重要的 理论意义和实用价值，双语语料的建设十分必要，其中双语对齐是最基本的环节。文章首先简要介绍了语料库的建设情 况，然后结合主流的句子对齐方法提出并实现了基于词典和语言学信息的英汉双语句子对齐。 关键词：双语语料库；平行；对齐；机器翻译 中图分类号：TP391 文献标识码：A Building Chinese—English bilingual Corpus of News Field and Research on Sentence Alignment LIN Zhe—hui，J IA Jian—feng，GUO Wen (College of Information Science and Technology，Xiarnen University,Xiamen，Fujian 361005，China) Abstract：Bilingual corpus plays a very important part in mac~ne translation and natural language process field，Building and research on it both have theoretic significance and practical value．Therefore，it S necessary to build a large—scale bilingual corpus．Bilingual Alignment is the basic connecdon．This paper fi~fly gives a brief discussion on the construction of the corpus，secondly discuss the main ways of sentence alignment,and finally pose another aligning method base on lexical and language inform ation． Key words：bilingual corpus；parallel；alignment；machine translation 香港新闻语料也是重要的资源，包含三个子语料 0 引言 库：香港议会平行语料、香港法律平行语料、香港新闻 国内外很多研究机构都致力于双语语料库的建 平行语料，分别有2000年和2004年两个版本，其中 设，并利用这些语料库进行广泛的研究。但目前汉外双 2004年的版本已经做到句子层级的对齐，但文本仍然 语语料库规模比较小，加工规范也不统一，从而影响了 混乱，当中也存在不少噪声。所以语料建设的主要工作 双语语料库知识获取的研究。实现各个层次的对齐是 是句对的抽取和根据句对的评价权重进行筛选。 双语语料库建设的一项重要内容。