汉语自动分词研究述评.pdfVIP

汉语自动分词研究评述 孙茂松 邹嘉彦 孙茂松，北京 清华大学计算机系 邹嘉彦，香港 香港城市大学 语言资讯科学研究中心 提要 本文首先阐述了汉语自动分词研究的现实性和可能性，接着围绕该研究中的三个基本 问题（切分歧义消解、未登录词处理和语言资源建设）展开了重点讨论，并扼要评介了十几 年来产生的各种方法。最后就这个领域未来的研究要点发表了一些个人意见。 关键词 中文信息处理 汉语自动分词 切分歧义消解 未登录词处理 语言资源建设 1. 汉语自动分词的现实性与可能性 众所周知，中文文本没有类似英文空格之类的显式表标示词的边界标志。汉语自动分词 的任务，通俗地说，就是要由机器在中文文本中词与词之间自动加上空格。一提到自动分词， 通常会遇到两种比较典型的质疑。一种质疑是来自外行人的：这件事看上去平凡之极，好像 一点儿也不“热闹”，会有什么用呢？另一种质疑则是来自内行人的：自动分词研究已经紧 锣密鼓地进行了十几年了，可到现在也未见一个经得起考验的系统推出来（与此形成鲜明对 照的是，日语同样也存在分词问题，但已经有了圈内人士广泛认同的日语分词系统），这几 乎成了中文信息处理中一个“永恒”的话题，那么，到底还有没有希望搞出真正意义上的“门 道”来？ 第一种质疑关心的是自动分词的现实性问题，其答案是十分明确的。当前的大环境令人 鼓舞：中国正在向信息化社会迅速前进，其突出表征是Internet 上中文网页的急剧增加和中 文电子出版物、中文数字图书馆的迅速普及。以非受限文本为主要对象的中文自然语言处理 研究于是也水涨船高，重要性日益显著。而汉语自动分词是任何中文自然语言处理系统都难 以回避的第一道基本“工序”，其作用是怎么估计都不会过分。只有逾越这个障碍，中文处 理系统才称得上初步打上了“智能”的印记，构建于词平面之上的各种后续语言分析手段才 有展示身手的舞台。否则，系统便只能被束缚在字平面上，成不了太大气候。具体来说，自 动分词在很多现实应用领域（中文文本的自动检索、过滤、分类及摘要，中文文本的自动校 对，汉外机器翻译，汉字识别与汉语语音识别的后处理，汉语语音合成，以句子为单位的汉 字键盘输入，汉字简繁体转换等）中都扮演着极为重要的角色（Wu Z.M.and Tseng G.1993;Wu Z. M. and Tseng G.1995; Nie J.Y.and Brisebois M.et al.1996;Sun M. S. andLin F.Z.,et al.1996 ）。我 们举两个例子直观说明一下。 ［文本检索］ 设文本A 含句子（1a）而文本B 含句子（1b）： （1）a.和服│务│于三日后裁制完毕，并呈送将军府中。 b.王府饭店的设施│和│服务│是一流的。 显然，文本A 讲的是日本“和服”，文本B 则与酒店的“服务”有关，两者风马牛不相 干。如果不分词或者“和服务”分词有误，都会导致荒谬的检索结果。 ［文语转换］ 注意句子（2a ）、（2b ）中的“查金泰”： （2 ）a.他们是来│查│金泰│撞人那件事的。 b.行侠仗义的│查金泰│远近闻名。 句子（2a ）中“查”为动词，应读cha，句子（2b ）中则为姓氏，应读zha 。 第二种质疑直指自动分词的可能性问题。虽然迄今为止我们尚不能下一个完全肯定的结 论，但经过圈内学者十几年不懈的探索，这个答案的轮廓还是大体凸显出来了。毕竟词平面 上的研究与句法平面和语义平面相比照，本身难度要小得多，并且无论是在计算语言学方面 还是在普通语言学方面，所取得的成果也要成熟、扎实得多。现有的工作积累已经达到了可 以厚积薄发的程度。如果说面向非受限文本的汉语句法、语义自动分析还是可望而不可即的 话，那么，面对相同对象的汉语自动分词，则距凯歌初奏只有几步之遥了（当然即使达到了 那个目标，也还不是功德圆满）。Sproat R. and Shih C.L.,et al. （1996）及Sun M. S.and Shen D.Y.,et al. （1997 ）的汉语自动分词原型系统已初具处理非受限文本所需的种种功能，他们 沿着正确方向跨了一大步。 本文的重点是第2 节，将集中讨论汉语自动分词中的基本问题， 并扼要评介十几年来