面向21世纪的自然语言处理--国际共同研究项目“日中英多语言对译语料库JCE-TC”的进展和展望.pdfVIP

面向21世纪的自然语言处理+ ——国际共同研究项目“日中英多语言对译语料库JCE—TC” 的进展与展望 任福继 (日本广岛市立大学情报科学部) 摘要近年来，大规模语料库的研究非常盛行。其原因是随着文本语料库电子化进程的急速发展，使以语言学研 究、辞书以及机器翻译的发展等为目的所进行的语言数据的收集、分析等成为可能。最近．对译语料库的研究正破 土而出，可望给自然语言处理、机器翻译带来新的生机。本文将介绍国际共同研究项目“日中英多语盲对译语料库 JCE--TC”的研究目的、必要性、研究撬要、进展以及展望。 关键词人工智能 自然语言处理机器翻译语料库知识获取 1 引言 科学技术进步的一个侧面就是克服了人与人之间交流的障碍。输送技术的发展缩短了人们交流的空间 距离。通信技术的进步，克服了人们交流的时间障碍。现在，还没有解决的就是如何去突破语言障碍。 众所周知，自然语言处理是为攻克语言障碍(包括不同语言之间的自动翻译、自然语言理解、自然语言生 成、信息检索、信息获取等)而产生的学科。这也是信息社会不能回避且急待解决的高科技问题。经过许多学 者几十年的努力，在自然语言处理领域取得了许多成果，但目前正面临着挑战。面向21世纪的自然语言处理 战略如何策定，是必须直面的课题。自然语言处理从某种角度而言可归纳为如何获取知识，以及如何利用知 识而产生新知识的问题，这也是人工智能领域的一块硬骨头。 在计算语言学中，获取知识按知识源的不同可以分为两个方面：通过字典获取以及从语料库中获取。语 料库作为一种知识源，其中包含了大量的语言事实。事实上，我们可以认为：一个巨大规模的语料库不仅仅包 含了语言规则知识，而且还包含了人类文化，社会风俗等丰富多彩的实世界知识。因此，近年来，大规模语料 库的研究非常盛行o“”。除了上述理由之外，其原因还在于随着文本语料库电子化进程的急速发展，使以语 言学研究、辞书以及机器翻译的开发为目的所进行的语言数据的收集、分析成为可能。 为了本文的完整性，在这里列举几个有代表性的语料库。 最具代表性的文本语料库是于1964年公布于世，其后又经过多次修订的BrownUniversity Corpusof American Present—Day 2000句构成的课文群。它是以调查美式英语为目的而开发的。在进行课文抽出时考虑了出版比例，且采用了 of Corpus Birmingham)。Brown语料库作为开发其他语料库的参照模型而被广泛应用。 of Collection 最新开发的有Birmingham语料(BirminghamEnglish of CorpusSpoken of 始开发的SEU(SurveyEnglishUsage)语料的口语部分变为机器可读化。 不仅仅是单语言语料库，最近几年，双语言语料库也已被提出来了“’“…。 根据我们数年来的研究经验，我们认为，研究开发一个三种语言的对译语料库将有可能导出仅靠单语言 -日本科学研究基金资助项目 一10— 或双语言不能阐明的有用信息，并可能有助于去阐明下世纪自然语言处理研究的方向和策略。基于上述思想 的多语言对译语料库计划，已获得了日本文部省科学研究费资助，并正式列为国际共同研究项目JCE—TC。 本文将介绍其目的、必要性、计划概要、现状及展望。 2 JCE—TC的研究目的 基于研究日语、汉语、英语其语言共通性以及各语言的独自特征，开发～个日中英对译语料库系统模型 (JCESM)。进而研究开发基于JCESM的自然语言处理，特别是多语言机器翻译的方法。 的机器翻译模型的开发。 3 JCE—TC研究的必要性 以机器翻译为代表的自然语言