汉英机器翻译源语分析中词的识别-中文信息学报.PDF

中　文 　信 　息 　学 　报 第 13 卷 第 5 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 13 No. 5 汉英机器翻译源语分析中词的识别 傅爱平 中国社会科学院语言研究所 　北京 　100010 摘要 　汉英 MT 源语分析首先遇到的问题是词的识别 。汉语中的“词”没有明确的定义 , 语素和词 、词和词组 、词组和句子 ,相互之间也没有清楚的界限。按照先分词 、再句法分析的办 法 ,会在分词时遇到构词问题和句法问题相互交错的困难 。作者认为 ,可以把字作为源语句法 分析的起始点 ,使词和词组的识别与句法分析同时进行 。本文叙述了这种观点及其实现过程 , 并且以处理离合词为例 ,说明了识别的基本方法 。 关键词 　机器翻译 　汉语自动分析 　汉语词的自动识别 Chinese Sentence Tokenization in a ChineseEnglish MT System Fu Aiping Institute of Linguistics Chinese Academy of Social Sciences 　Beij ing 　100010 Abstract 　The first problem we have met in source language analysis in a ChineseEnglish MT system is Chinese sentence tokenization , as in written Chinese there is no explicit word delimiter . Finding token boundaries for a character string will be often interlaced with syntactic parsing , or even with semantic re lations. This paper presents an approach of combination of sentence tokenization and syntacticsemantic analysis. Instead of getting tokenized word string before sentence parsing , the tokenizing component is built into the parser , i . e . syntactic and semantic information could be used for recognizing words when necessary during parsing which is supported by a dictionary with descriptions for individual usage and a set of common rules. Key words 　Machine translation 　Chinese language Parsing 　Chinese tokenization 一 、分词和句法分析 源语分析是汉外机器翻译研究的一个难题 ,其中首先遇到的问题就是如何确定分析汉语 句子的基本结构单位 ,也就是把汉语句子分析的起始点放在哪儿 。研究机器翻译的人大多在 理论上或实践上有印欧语言自动分析的经历 ,譬如英语 自动分析 , 习惯于先词法分析 ,再句法 分析的套路 。因此也就容易把词作为汉语句子分析的起始点 。可是现代汉语的词没有明确的 形式标记 ,于是在汉语句子分析之前就需要先解决词的自动识别问题 。 最常见的识别词的方法是自动分词 。这是汉语信息处理中最早开始的研究课题之一 , 已 经在研究和实践上有了多年的积累 ,制定了分词规范 ,研制出了较好的分词算法 ,也有了评测