汉语句法知识的自动获取研究-清华大学信息技术研究院语音和语言.PDF

* 汉语句法知识的自动获取研究 周 强 智能技术与系统国家重点实验室 清华大学计算机科学与技术系，北京100084 摘要： 本文提出了一种行之有效的汉语句法知识自动获取体系。以浅层句法分析作为预处 理工具，并结合现有的概率分析器，可以从大规模真实文本中自动习得汉语概率型上下文 无关规则和结构优先关系等有用的句法知识，从而形成一个具有自学习能力的汉语句法分 析器。实验结果显示出其较好的分析性能和应用前景。 关键词：句法分析，机器学习，知识获取 Automatic syntactic knowledge acquisition for the Chinese language Zhou Qiang State Key Laboratory of Intelligent Technology and Systems Dept. of Computer Science and Technology, Tsinghua University, Beijing 100084 zhouq@s1000e.cs.tsinghua.edu.cn ABSTRACT: The paper proposed an efficient knowledge acquisition system for Chinese syntactic parser. Based on the shallow parsing schemes as a preprocessor, and the current probabilistic parser as a control module, many useful syntactic knowledge, such as probabilistic context-free grammar rules and structural preference relations, can be learned from large-scale Chinese real texts. Therefore, a self-learning Chinese probabilistic parser can be built. The experimental results showed its better analyzing performance and application prospects. KEYWORDS: Syntactic Parsing, Machine Learning, Knowledge Acquisition 一、 引言 句法分析是自然语言理解的基础。近几年来，随着语料库语言学的不断发展和标注语 料库规模的不断扩大，许多研究人员开始尝试着直接利用语料库中的标注信息进行语法分 析，开创了一条进行自动句法分析的新路。在英语方面，典型的研究工作包括：1) R. Bod 的 面向数据分析(Data Oriented Parsing)技术([RB93],[RB92])，2) 模拟退火(Simulated Annealing) 分析方法[SD91]，3) David M. Magerman 的概率型判定树方法([DM95], [DM94])，4). E.Brill * 本项研究得到国家自然科学基金（项目号）、国家973 基金（项目号：G1998030507-2 ）和清 华大学骨干教师基金资助。作者信息：周强，男，1967 年9 月出生，博士，副研究员，主要研究方向：计 算语言学，机器学习，语料库语言学。 的基于转换(Transformation-based)的处理[EB93]等。在汉语方面，我们也进行了一些类似的 研