中文信息学报四种基本统计句法分析模型在汉语句法分析中的性能比较.pdfVIP

中　文 　信 　息 　学 　报 第 17 卷 第 3 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 17 No3 文章编号 :1003 - 0077 (2003) 03 - 000 1 - 08 四种基本统计句法分析模型在汉语句法分析中的性能比较 孟 　遥 ,李 　生 ,赵铁军 ,曹海龙 ( 哈尔滨工业大学计算机科学与技术学院 ,黑龙江哈尔滨 　15000 1) 摘要 :统计模型的选择是统计句法分析的关键 。目前句法分析常用的有四种经典统计模型 —PCF G 模 型 ,基于历史模型 、分层渐近式模型和头驱动模型 。本文通过实验 ,在已有的 10000 句汉语树库基础上 ,测试 了这四种经典模型在现有数据规模下各自的性能 ,并论述了这四种经典模型的各自特点 。本文旨在通过对四 种基本模型的比较研究 ,为具体应用中句法分析模型的选择提供参考和依据 。 关键词 :计算机应用 ; 中文信息处理 ;统计句法分析 ;基本模型 ;汉语分析 中图分类号 : TP39 1 　　　文献标识码 :A A Comparative Study of Four Primary Statistical Model s in Chinese Parsing M EN G Yao , L I Sheng , ZHAO Tiej un , CAO Hailong ( School of Computer Science and Technology , Harbin Institute of Technology , Harbin 　15000 1 ,China) Abstract :Choosing t he statistical model is t he key problem in statistical p arsing. Statistical model lies in t he core of NL P p arsing. This p ap er investigates 4 primary statistical p arsing models , namely PCF G , historybased model , cas cading p arsing model and headdriven p arsing model , and comp ares t heir p erformances in a 10000 Chinese treebank . The analysis based on t he exp eriment were shown in t he p ap er . The comp arative study of t hese models can be ex ploited to build t he practical and effective Chinese p arser . Key words :computer application ; Chinese information processing ;statistical p arsing ;primary statistical models ;Chi nese p arsing 一 、引言 句法分析是自然语言处理的一个基本问题 。句法分析的目的主要有两个 ,一个是确定句 子所包含的谱系结构 ,另一个是确定句子的组成成份之间的关系 。 基于统计的句法分析必须以某种方式对语言的形式和语法规则进行描述 ,而且这种描述 必须可以通过对已知句法分析结果的训练获得 ,这便是句法分析模型 。句法分析模型不同 ,体 现的语言知识不同 ,使用的处理方法也不同 ,可以导致不同的句法分析结果 。而语言间的差异 也会使同样的模型在处理不同语言时效果不同。 目前句法分析研究中有四种