汉维哈柯双语语料库加工系统句子对齐技术的研究.docVIP

汉维哈柯双语语料库加工系统句子对齐技术的研究 　　摘要：在自然语言处理的研究和开发中，双语平行语料库的作用日益突显出来，平行语料库的建设对于机器翻译、双语词典编纂、词义消歧和跨语言信息检索具有重要的价值。因此，设计了高效实用的汉维哈柯双语语料库加工系统。该系统将文档对齐、句子对齐以及词语对齐技术有机地融合为一体，具有高效、方便、快捷和可扩充等特点。该文着重介绍句子对齐技术。 　　关键词：双语语料；平行语料库；句子对齐 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2011)28-6797-03 　　Study on Sentence Alignment Technology of Chinese-Uygur Kazak Kirgiz Bilingual Corpus Processing and Programming System 　　TAN Xun, TURGUN Ibrahim, AISHAN Wumaier, Aishan Molniyaz 　　(College of Information Science and Engineering, Xinjiang University, Urumqi 830046, China) 　　Abstract: In the research and development of natural language, bilingual parallel corpus show their impact gradually. The construction of the parallel corpus is valuable and beneficial for machine translation, bilingual dictionary compilation, meaning disambiguation and crossing-language information retrieval. As a result, the author designs the bilingual corpus processing system, which is very efficient and practical for the switch from Chinese to Uygur, Uygur to Kazak and Kazak to Kirgiz. This processing system blends the technology for document alignment, sentence alignment and word alignment together, which makes it efficient, convenient, speedily and extending. The thesis focuses on the technology for sentence alignment. 　　Key words: bilingual corpora; parallel corpus; sentence alignment 　　语料库顾名思义就是存放语言材料的仓库或数据库。语料库是指按照一定的语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片段，而建成的具有一定容量的大型电子文库。 　　近些年来，双语语料库成为工作在多种自然语言平台系统上的基本资源，包括机器翻译，自动翻译校对，翻译知识的自动获取，跨语言信息检索等[1]。因此，双语语料库的建设至关重要。快速、方便、准确的建设双语语料库的问题日趋突出[3-7]。双语语料库的建设正在趋于快速和准确，双语语料库加工系统不仅可以解决建设语料库的速度问题，而且还可以提高对齐的准确性。这就要求把文档对齐、句子对齐、词语对齐三个重要组成部分组合到一个系统中，先利用机器自动对齐然后再人工干预调整提高准确性。 　　1 系统的整体架构和功能模块 　　1.1 系统的整体架构 　　汉维哈柯双语语料库加工系统是C#和Sql Server2005开发实现的，从层次架构来看，可将系统分为分为两个模块：文件管理模块和对齐管理模块。整体结构如图1所示。 　　系统首先使用文档管理系统对文档进行导入、编辑和审核，然后通过对齐管理系统进行文档对齐、句子对齐和词语对齐。用户可以通过客户端来对分配的任务进行对齐。 　　1.2 系统的功能模块 　　1.2.1 文档管理模块 　　文档管理模块包括文档导入、文档编辑和文档审核三个部分。 　　1）文档导入。负责已导入服务器的文档的基本信息的管理，并向管理人员提供查看文档详细信息的服务。 　　2）文档编辑。负责