基于HPSG的汉语词库和语法规则系统构建.PDF

总第271 期 2016 年 第6 期 基于HPSG 的汉语词库和语法规则系统 构建* 杨春雷 (上海外国语大学英语学院 上海 201600) 摘要: 【目的】探讨开发汉语可计算语法的理论基础和实践经验。【方法】以HPSG 理论为句法框架, 以 MRS 为语义描写手段, 以“汉语普通话在线语法”(简称“汉构”)的开发过程为例, 重点研究通过构建词库和规则层级, 对汉语特殊结构进行计算实现。【结果】“汉构”的开发证明, HPSG 非常适合作为汉语可计算语法开发的理论框架。 【局限】“汉构”仍在继续开发中, 其覆盖率暂未接受大规模自然语料的检测。【结论】“汉构”可作为沟通形式语 言学和计算语言学的桥梁和开发大规模资源型语法的基础。 关键词: HPSG 汉语普通话在线语法(汉构) 语法工程 自然语言处理 分类号: H087 G350 计算实现技术和商用等方面取得了重要进展[3-5] 。 1 引 言 但是, 汉语NLP 仍落后于英语、日语、德语等语 自然语言处理(Natural Language Processing, NLP) 种。尽管学界已开发出多种分析汉语形态特征的分析 方法可分为浅层和深层处理。前者指基于数据和统计 器, 但尚未有一部系统地面向深层语言处理的可计算 [1] 的处理方法, 在20 世纪90 年代成为NLP 的主要方法 , 语法。一方面, 计算语言学家对汉语的复杂结构和语 并在语音、拼写和语法检查等领域促成了一些重要研 义特征感到很棘手, 无法取得高效的分析结果; 另一 究成果。但是, 由于自然语言非常复杂, 计算机在执行 方面, 汉语语法学家对计算语言学中应用的语言学框 复杂的分析任务时, 速度缓慢, 空间不足, 无法投入 架、可计算语法开发平台和工具缺乏了解, 为计算语 处理效率要求较高的商业应用。因此, 计算语言学家 言学提供的可借鉴成果有限。陆俭明[6]认为中文信息 意识到要提高NLP 的精确度, 并降低对计算系统的要 处理“ 眼下特别要加强词汇句法语义研究, 集中精力 求, NLP 必须回到基于精确的语言学模型的方法, 即 解决好‘句处理’问题”, 并一针见血地指出“语言研究 基于约束条件或规则的深层处理的方法。其中, 编写 已成为信息工程科学发展的瓶颈”。虽然NLP 是一个 机读的形式语法的程序[2], 即可计算语法开发或语法 多边缘的交叉学科, 但应以语言学为主[7] 。 工程(Grammar Engineering)是关键。可计算语法开发 在 HPSG 理论框架内, 根据相似的编写流程, 国 过程复杂, 要建立词库、短语和句法规则、语义表达、 际上已经开发出 9 种语言的大规模语法, 并且已投入 信息结构等不同层次且相互关联的部分。从20 世纪末 商用, 另外, 还有其他 10 余种语法正在开发和完善 至今, 面向深层语言处理的可计算语法开发经历了近 (/moin/GrammarCatalogue)。笔者 20 年平稳快速发展期, 并在语言学理论基础、跨语言、 和斯坦福大学语言与信息研究中心共同开发“汉语普 通讯作者: 杨春雷, ORCID: 0000-0001-9123-7502, E-mail: yangchunlei@ 。 *本文系国家社会科学基金规划一般项目“类型学视野下的汉语短语结构语法及其计算现实研究”(项目编号:16BYY136)、教育部 人文社会科学研究规划基金项目“面向深层语言处理的汉语短语结构语法”(项目编号:13YJC740118)和上海外国语大学规划基金项目 “语言量化现象的多维度研究”(项目编号:2013XJGH023)的研究成果之一。