分词技术在辅助翻译预处理阶段的应用研究及实现.docVIP

分词技术在辅助翻译预处理阶段的应用研究及实现 　　摘要：探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法，结合中文分词过程，在自动进行中文分词的结果之上，自动提取文本中特定出现频率以上的高频词条，将这些词条作为辅助翻译预处理阶段任务分配的重要依据，从而有效提高了辅助翻译平台预处理过程中的任务分配效率及任务分配准确率。 　　关键词：信息提取；中文分词；高频词提取；机器翻译；辅助翻译 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2008)36-2796-03 　　Application Research and Implementation of Chinese-Word Segmentation In the pretreatment stage of Computer-aid Translation System 　　WU Shu-guo, GUA Jun-jie 　　(College of Computer Science and Technology, Beijing University of Technology, Beijing 100124, China) 　　Abstract: This paper introduces the automatic word segmentation based on non-guidance study strategy and statistical model. Utilize the result of word segmentation to extracts high-frequency words in the text. The high-frequency words extracted will be the important basis of task allocation in the stage of pretreatment of Computer-aid translation. This method have improved validity and scientific of task allocation in the stage of pretreatment of Computer-aid translation. 　　Key words: information retrieval Chinese Segmentation; Extraction of high-frequency word；Machine translation; Translation Memory 　　1 引言 　　步入21世纪以来，随着国际互联网(Internet)的迅猛发展，网络信息急剧膨胀，国际交流日益频繁。翻译向着更加专业化的方向发展，且翻译信息量也越来越大。机器翻译正在逐渐成为克服语言障碍的重要手段。但到目前为止，由机器完成的翻译任务一般情况都会存在可读性差、难于理解的问题，这也正为CAT(辅助翻译系统)的出现提供了客观条件。但随着辅助翻译系统规模的扩大，翻译任务量的增多，便需要将待翻译的任务进行有效的预处理并将该预处理的结果作为选择翻译人员的依据。将中文分词技术应用于辅助辅助翻译平台的预处理阶段，必将提高预处理阶段翻译任务分配的准确性和科学性，必将提高翻译的效率，节约翻译的成本。 　　2 相关技术背景及在系统中的具体实现 　　2.1 机器翻译(Machine Translation) 　　机器翻译又称机译，是利用计算机把一种自然语言转变成另一种自然语言的过程。到目前，虽然机器翻译历经了70多年的研究，机译的译文质量确实还远不能令人满意[1]。由机器完成的翻译任务一般情况都会存在可读性差、难于理解的问题，这也正为CAT(Computer Aided Translation)辅助翻译系统的出现提供了客观条件[2]。 　　2.2 辅助翻译(Translation Memory) 　　辅助翻译TM(Translation Memory) 是“译者运用计算机程序部分参与翻译过程的一种翻译策略。”它是通过计算机软件来实现的专业翻译解决方案，它与“机器翻译”有着本质的区别。目前，由于机器翻译的译文远不能够满足专业翻译的需要，翻译记忆技术成为了唯一的选择。 　　在我们模型中使用目前国际上比较流行的TRADOS系统做为辅助翻译平台，实现语料库，术语库等翻译资源的有效管理。 　　2.3 汉语分词 　　中文分词是由计算机自动识别文本中的词边界的过程，它是中文信息处理最重要的预处理。到目前为止还没有真正实用的分词系统出现，但已经出现了许多针对性很强的成功的分词系统。汉语自动分词在形形色色的中文信息处理应