牛津计算语言学手册 - international language communication.pdf

1导读 《牛津计算语言学手册》 冯志伟 一、 计算语言学的发展历史与现状 计算语言学（Computational Linguistics ）是当代语言学中的一个新兴学科，在这门学科 的发展过程中，曾经在计算机科学、电子工程、语言学、心理学、认知科学等不同的领域分 别进行过研究。之所以出现这种情况，是由于计算语言学包括了一系列性质不同而又彼此交 叉的学科。这里，我们简要介绍计算语言学的萌芽期、发展期、繁荣期，并分析计算语言学 当前的一些特点。 计算语言学的萌芽期 从 20 世纪 40 年代到 50 年代末这个时期是计算语言学的萌芽期。 在“计算语言学’这个术语出现之前，关于语言与计算的研究早就开始了。有四项基础 性的研究特别值得注意： -- 一项是关于马尔可夫模型的研究， -- 一项是关于可计算性理论和图灵机模型的研究， -- 一项是关于概率和信息论模型的研究， -- 一项是关于形式语言理论的研究。 早在 1913 年，俄罗斯著名数学家 A. Markov （马尔可夫）就注意到俄罗斯诗人普希金 的叙事长诗《欧根·奥涅金》（Ougene Onegin ）中语言符号出现概率之间的相互影响，他试 图以语言符号的出现概率为实例，来研究随机过程的数学理论，提出了马尔可夫链（Markov 2 Chain ）的思想，他的这个开创性的成果用法文发表在俄罗斯皇家科学院的通报上 。后来 A. Markov 的这一思想发展成为在计算语言学中广为使用的马尔可夫模型（Markov model ）， 是当代计算语言学最重要的理论支柱之一。 在计算机出现以前，英国数学家 A. M. Turing （图灵）就预见到未来的计算机将会对自 然语言研究提出新的问题。 1936 年，Turing 向伦敦权威的数学杂志投了一篇论文，题为《论可计算数及其在 判定问题中的应用》。在这篇开创性的论文中，Turing 给“可计算性”下了一个严格 的数学定义，并提出著名的“图灵机”(Turing Machine) 的数学模型。“图灵机”不是 一种具体的机器，而是一种抽象的数学模型，使用这样的数学模型可以制造一种十分 简单但运算能力极强的计算装置，用来计算所有能想象得到的可计算函数。1950 年 10 月，Turing 在《机器能思维吗》一文中指出：“我们可以期待，总有一天机器会同人在 一切的智能领域里竞争起来。但是，以哪一点作为竞争的出发点呢？这是一个很难决定的问 题。许多人以为可以把下棋之类的极为抽象的活动作为最好的出发点，不过，我更倾向于支 持另一种主张，这种主张认为，最好的出发点是制造出一种具有智能的、可用钱买到的机器， 然后，教这种机器理解英语并且说英语。这个过程可以仿效小孩子说话的那种办法来进行。” Turing 提出，检验计算机智能高低的最好办法是让计算机来讲英语和理解英语，他天才地预 见到计算机和自然语言将会结下不解之缘。 1 The Oxford Handbook of Computational Linguistics ，《牛津计算语言学手册》， 外语教学与研究出版社、牛 津大学出版社合作出版，2009 年 9 月，北京，ISBN: 978-7-5600-6913-3 。 2 A. A. Markov, Essai d’une recherche statistique sur le texte du roman “Ougene Onegin” illustrant la liaison des epreuve en chain, Bulletin de l’Academie Impériale des Sciences de St-Pétersbourg, 7, 153-162. 20 世纪 50 年代提出的自动机理论来源于 Turing 在 1936 年提出的可计算性理论和图灵 机模型，Turing 的划时代的研究工作被认为是现代计算机科学的基础。Turing 的工作首先导 致了 Mc