大规模非限定领域汉英双语语料库建设及句子对齐研究.PDFVIP

大规模非限定领域汉英双语语料库建设及句子对齐研究* 刘非凡 赵军 徐波 中国科学院自动化研究所 模式识别国家重点实验室 北京 100080 ffliu@nlpr.ia.ac.cn, jzhao@nlpr.ia.ac.cn , xubo@hit ic.ia.ac.cn 摘 要：双语语料库建设及其自动对齐研究对计算语言学的发展具有重要的意义。目前国内外已有的双语 语料库尤其是汉英双语语料库规模不大，加工规范不统一，没有形成能够公开使用的通用双语语料库。本 文工作在国家973子课题支持下，遵循中文语言资源联盟（ChineseLDC）资源共享的宗旨，参照都柏林核 元数据元素集制定了双语语料文本标注规范，并对非限定领域双语句子自动对齐技术进行了研究，为大规 模建立具有统一标准和规范的、多领域、多体裁、句子级对齐的双语语言信息和知识库奠定了坚实的基础。 关键词：双语语料库，对齐，中文语言资源联盟 Building Large-Scale Domain Independent Chinese-English Bilingual Corpus and the Researches on Sentence Alignment Liu Feifan Zhao Jun Xu Bo National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences, Beijing, 100080 ffliu@nlpr.ia.ac.cn, jzhao@nlpr.ia.ac.cn , xubo@hitic.ia.ac.cn Abstract ：Bilingual corpus shows very important significance in the field of computational linguistics. Currently, the bilingual corpora, especially for the Chinese-English bilingual corpora, are small in scale and nonstandard in the annotation format. Therefore, they can ’t serve as an open and gen erally used corpora. Under the support of the-973-project, the paper introduces the specifications for annotating the bilingual text based on Dublin Core Element Set. The paper also presents our researches on the sentence alignment technology for domain-independent bilingual corpus. Keywords ：bilingual corpus, alignment, Chinese Linguistic Data Consortium. 1 引言 国内外很多研究机构都致力于双语语料库的建设，并利用这些语料库进行广泛的研究。 加拿大的议会会议录（Canadian Hansards ）是非常著名的英法双语语料库，许多最初的基于 [1][2] 双语语料库的研究都是在该语料库基础上进行的 。有关汉外双语语料库建设及其研究， [3] 香港科技大学收集和加工了香港立法委员会的会议记录，形成汉英双语语料库 。此外，北 本文受国家973 项目子课题（G1998030501A-06 ）和国家自然科学基金项目）