中文自然语言理解中的若干关键问题探索研究.pdf

第二十届伞国计算机信息管理学术研讨会 中文自然语言理解中的若干关键问题探索 上海交通大学电子信息学院王永成 (上海交通大学电子信息学院，上海，200030) 【摘要】只有教会电脑能理解人的自然语言，能够用自然语言与人进行交流，人才能真正地成为 电脑的主人，本文介绍了作者领导的研究者们在成功地教电脑理解中文自然语言所走过的道路、认 识的飞跃和基本方法。 【关键词】自然语言理解，概念空间，中文，句模，语意识别 l引言 谁也不喜欢，也没有实际采用狗的语言来指挥狗的活动的。冈为，人是狗的主人。 现代人，不管是上天、入地，还是洗衣、做饭，都愈来愈离不开电脑。冈此，电脑可谓是什世 纪人类最伟大的发明创造。但是，人们迄今还没有能普遍地实现：像指挥宠物一样地直接用人的语 言指挥电脑。从这种意义上说：人还不能称得上是电脑的真正主人。我们必须使人真正成为电脑的 主人。 因为中文已有五千多年的发展史，众多国家与民族的熔融，使其不仅词汇丰富，而且复杂到迄 今仍没有一本。忙能概括其基本语法。但由丁以中文为母语的人数甚多(有人估计占世界人口的近1／3， 至少是1／51)，而且使用中文的人数正在急速增加(随着中国的改革开放，一个学习与使用中文热潮 正在兴起)，况且我们的母语也是中文，我们不能不首先对它的自动化处理进行深入地研究。 社会的需求，就是科学技术进步的强大动力。经过数十年的努力，我们己取得突破：我们已能 试用中文自然语言指挥电脑，让它为我们上网检索；我们的中文与英文自动摘要系统，不仅已多年 被评为具有国际领先水平，而且已为上千万大学生提供服务；我们已借助市售的中文语音输入／输出 设备， 已能让全盲人可用语音(oral speech)在我们的纳讯热点新闻栏目 (http：／／naxun．sjtu．edu．cn／isapi／SENGINE 为“”网上宝马车”(网上“宝马”车．卜海文汇报2003年2月18日)，而且也已被中国教育部放在“中 本文目的在于抛砖引玉，介绍我们如何在走出了中文自动分词[1]的迷途，在全世界的相通 的概念层次上，迅速地、初步但又确实地突破了自然语言理解的难题，在中文自然语言提问与中英 文自然语言文本自动摘要等等方面都取得了进展，介绍我们所走过的道路、所用的基本方法以及论 证了：人类必须，而且也一定会成为现代任何机器的主人。 2中文是靠概念而不是靠词进行语言理解的，其它语言亦然。 全世界都正在愈来愈热衷于内容处理。为对中文进行语义处理，国内外有很多很多的人都正在 研究中文自动分词[2．3]。因为他们认为词，才是中文语义的基本单位。虽然国家已为此不知花了多 少人力和金钱，可迄今谁也没有能开发出一个其分词能力能超过中学生的系统。譬如：对“物理学 起来很难”，以自动分词能力超群的中国自动化所、清华大学、北京人学、日本富十通公司等等的自 154 第二十届伞国计算机信息管理学术研讨会 动分词结果曾都是“物理学／起来所艮难”。 在20世纪80年代，在中国信息界有以笔者之一命名的“王永成分词法”E4]。但后来就是：始 终不能完全满足应用的需要。笔者只好改变思路，研究仿人。人在相互交谈时，是怎样交流思想的? 经与新加坡徐杰教授讨论Es]，我把我们的认识概述如下： 也就是说，我们认为：人与人进行交流时，虽然借助的是语言，但真正交流的却主要是思想。 而思想则主要是通过概念而不是孤立的字与词来记忆与思维的。也就是说，我们认为：人在理解和 思维时，实际上并不是以词为单位的，而是以概念为单位的；并且基本遵循短期记忆以“7土2”为 限这一生理原则的，否则记不清。譬如，人对“中华人民共和国卫生部传染病防治司对先天性免疫 缺陷综合症的传染防治十分关注”这句话的理解与思维，很难想象是首先把该分解成下述诸词(中 华／人民／共和国／卫生／部／传染／病／防治／司／对／获得性／免疫／缺陷／综合症／的／传染／防治／十分／关注)以后 才进行的。其实，一般最多是把它首先分解成下述概念(中华人民共和国卫生部传染病防治司／对获 得性免疫缺陷综合症的传染防治／十分关注)而后进行理解的。纵观世界各国语言，其实都是如此!