汉语自动分词指南.pdfVIP

一种规则与统计相结合的汉语分词方法1 赵伟，戴新宇，尹存燕，陈家骏 （南京大学计算机科学与技术系 南京大学软件新技术国家重点实验室,210093） 汉语自动分词是中文信息处理领域的一项基础性课题，本文对现有的汉语分词方法 摘要： 作了简单的概述和分析，然后提出了一种新的分词方法，该方法基于一个标注好了的语料库， 并且结合了规则和语料库统计两种分词方法。 关键词：中文信息处理 分词 语料库 交集型歧义 中图分类号：TP391 A Method Combining Rule-Based and Statistics-Based Approaches for Chinese Word Segmentation Zhao Wei, Dai Xinyu, Yin Cunyan, Chen Jiajun (Department of Computer Science and technology, Nanjing University State Key Laboratory for Novel Software Technology, Nanjing University, 210093) Abstract: Chinese automatic word segmentation is a basic task in the area of Chinese NLP. After summarizing and analyzing current techniques used in Chinese word segmentation, this paper presents a new method for word segmentation which is based on a marked corpus base. The method combines rule-based and corpus-based statistical methods. Keywords: Chinese NLP, Word segmentation, Corpus, Crossing Ambiguities 1. 序言 汉语自动分词是中文信息处理领域的一项基础性课题，也是智能化中文信息处理的关键 所在，因为在中文信息处理中，凡是涉及句法、语义等的研究（如机器翻译，自然语言处理 等）都要以词为基本单位。汉语不同于西文，在一个汉语句子中，词与词之间没有明显的分 隔符（如空格）。汉语的词法约束很不规范，而且千变万化，就给汉语分词带来了很大的麻 烦。正是由于汉语分词的困难及其在中文信息自动处理中的重要地位，自 70 年代末以来， 许多人投入到了汉语自动分词的研究工作中来，也出现了好多具有应用前景的分词方法。目 前，许多分词方法已经得到实现，并且投入到了实际应用系统中。 本文首先对现有的一些汉语分词方法进行阐述与分析，然后提出一种规则与统计相结合 的分词方法，该方法建立在一个标注好了的语料库的基础之上，可以很好地解决交集型歧义。 1 该课题得到 863 项目资助，项目编号：2001AA114102 2. 汉语自动分词的问题 汉语分词是汉语分析以及计算机处理汉语的一大难点，导致汉语分词精度不高的原因一 般有：词语（抑或说汉语分析基本单位）的界定、词典范围、分词中因为算法问题产生的歧 义。这里主要讨论关于歧义的消解。 分词过程中歧义产生的根源可归结为以下三类： （1）由自然语言的二义性所引起的歧义，称为第一类歧义。如：“乒乓球拍卖完了”可 切分为“乒乓球/拍卖/完了”又可以切分为“乒乓球拍/卖/完了”。这两种切分形式无论在语 法上还是语义上都是正确的，就是人工分词也会产生歧义，只有结合上下文才能给出正确的 切分。 （2 ）由机器自动分词产生的特有歧义，称为第二类歧义。如：“在这种环境下工作是太 可怕了”用机器切分，可以切分为“在/这种/环境/下工/作/是/太/可怕/ 了”，也可以切分为“在 /这种/环境/下/工作/是/太/可怕/ 了”。对本句来说，只有第二种切分是正确的，用人工分词是 不可能产生歧义的，歧义是由于机器机械切分产生的。 （3 ）由于分词词典的大小而引起的歧义，称为第三种歧义。如：“王小二是一个