汉语分析技术入门.docVIP

第一届学生计算语言学研讨会(SWCL2002)专题讲座 汉语词法分析和句法分析技术综述 刘群 北京大学计算语言学研究所 中国科学院计算技术研究所 liuqun@ 引言 本文主要介绍一些常用的汉语分析技术。 所谓语言的分析，就是将一个句子分解成一些小的组成部分（词、短语等等）并了解这些部分之间的关系，从而帮助我们把握这个句子的意义。 语言的研究，一般而言存在四个层面：词法层、句法层、语义层和语用层。 同样，语言的分析也存在四个层面：词法分析、句法分析、语义分析和语用分析。 本文主要介绍汉语的词法分析和句法分析技术。这两种技术是汉语分析技术的基础，而且已经发展得比较成熟。文中也会少量提及语义层面和语用层面的一些问题，但不会做深入的探讨。 汉语是一种孤立语（又称分析语），与作为曲折语和黏着语的其他一些语言相比，汉语在语法上有一些特点，仅仅从形式上看，这种特点主要体现在以下几个方面： 汉语的基本构成单位是汉字而不是字母。常用汉字就有3000多个（GB2312一级汉字），全部汉字达数万之多（UNICODE编码收录汉字20000多）； 汉语的词与词之间没有空格分开，也可以说，从形式上看，汉语中没有“词”这个单位； 汉语词没有形态上的变化（或者说形态变化非常弱），同一个词在句子中充当不同语法功能时，形式是完全相同的； 汉语句子没有形式上唯一的谓语中心词。 这些特点对汉语的分析造成了一定的影响，使