赛迪学术论文2013年赛迪学术年会论文-数字图书馆-中国电子信息.pdfVIP

赛迪学术论文 2013年赛迪学术年会论文 论文题目：构建和剖析中英三元组可比语料库 作 者： 耿鑫辉 胡小鹏 袁琦 朱姝 单 位： 北京赛迪翻译技术有限公司 联系电话： 电子邮箱： gengxh@ 时 间： 2013.11.12 中国电子信息产业发展研究院 1 构建和剖析中英三元组可比语料库 耿鑫辉 胡小鹏 袁 琦 朱 姝 （中国电子信息产业发展研究院，北京100044） 摘要:由于受到翻译腔的影响，中英平行语料库存在固有的扭斜的语言模型。显然，用这样 的语料库训练的机器翻译、跨语言检索等自然语言处理系统也承袭了扭斜的语言模型，严重 影响到应用系统的性能。为了克服平行语料库固有的缺陷，本文提出了构建和剖析中英三元 组可比语料库的技术研究。这项研究采用可比语料库和语言自动剖析技术，使用统计和规则 相结合的方法，对由本族英语、中式英语和标准中文三元素所组成的三元组可比语料库中的 本族英语和中式英语进行统计分析。在此基础上，利用n-元词串、关键词簇等自动抽取技 术挖掘基于本族语言模型的双语资源，实现改进和发展机器翻译等自然语言处理应用。 关键词：三元组可比语料库；语言迁移；自动语言剖析；n元词串 文献标识码：A 中图分类号：TP391 BuildingandProfilingChinese-English3-tuplecomparable corpora GengXinhui HuXiaopeng YuanQi ZhuShu China CenterforInformationIndustry Development (CCID) ,Beijing 100044, China Abstract:There exists inherent skewed language model in Chinese-English parallel corpus due to the influence of translationese. Obviously,natural language processing systems trained with these corpora, including machine translation and cross-language information retrieval, will inherit the skewed language model, thus seriously degrading the performance of applications. To fix the inherent defaults in parallel corpus, this article proposes a technical research on building and profiling Chinese-English 3-tuple comparable corpora.The study adopts comparable corpora and automatic language profiling technologies and applies a combined method of statistics and rules for statistical analysis on native English and Chinglish in 3-tuple comparable corpora that consists of native English, Chinglish and standard Chinese. Based on this, automatic extraction technologies, such as n-grams and key clusters, are used in the mining of native-language-bas