基于语料库的汉语依存树库的句法分析精度研究.docxVIP

基于语料库的汉语依存树库的句法分析精度研究 1 依存句法分析 基于语法中标记语料库和机器学习的自然环境处理方法是当前自然资源处理领域的研究热点。在句子分析领域，通常使用语料库（也称为树库）作为工具，获取语法知识，评估句子分析结果。一般来说，改变机器的学习策略和句法分析算法，提高句子法分析器的精度，不是语言学家，而是“基于语言特征的计算语言学学会可以做什么？”。“语言特征的可视化设备可以提高这些语言特征的精度吗？”。在这项工作中，我们试图通过改变库的标记方法来探索这个问题。 本文所用的句法理论为依存语法.一般认为,现代依存语法的创立者为法国语言学家Tesnière,有关依存语法以及该理论和计算语言学的关系,可参见文献. 依存句法分析的目标是构建输入句子的依存句法结构树(图).图1为句子“这是一个例子”的依存句法结构图. 图1显示,构成依存树(图)的基本单位是二元依存关系,这种关系可以在两个词之间形成,也可以将其抽象为一种两个词类标记(Part of Speech, POS)之间的关系.依存关系是一种有向关系或非对称关系,即在两个词(类)中有一个为支配词,图1中弧上的箭头表示了这种有向性. 与短语结构句法分析相比,依存句法分析由于能够直接发现句中的词间关系,加之这种关系对于信息提取和语义处理都极有用处,所以受到越来越多研究者的重视.句法分析的这种发展趋向也可从依存句法分析连续两次被CoNLL会议(Conference on Computational Natural Language Learning)作为共享任务中看出. 我们采用瑞典韦克舍(V?xj?)大学的J.Nivre提出的“归纳依存分析”(Inductive Dependency Parsing)方法和在此基础上实现的依存句法分析器MaltParser作为研究工具.MaltParser由以下三个部分组成:剖析器、指导器和学习器.各部分的任务是:构建依存图的确定性剖析算法,预测剖析器的下一个活动的基于历史的特征模型,将历史映射为剖析器活动的判别机器学习方法.MaltParser采用模块化结构,使用者可根据自己的需要调整各种机器学习和句法分析参数. 2 依存标记标记的方面 实验所用树库为自建的“新闻联播”树库,标注采用的“现代汉语依存关系句法”见文献.所用树库含句子711个,词20 034个,平均句长28个词.我们将711个句子中的前650个句子作为训练集,剩余的61个句子作为测试集.采用基于记忆的学习(Memory-Based Learning, MBL)策略和M4特征模型(含5个词类标记(POS)特征,4个依存类型(Dependency Type, DEP)特征和2个词汇(Lexical, LEX)特征),得到以下句法分析结果:UAS 0.704, LAS 0.637, UnSent 22,其中,UAS为无标记依存关系,LAS为有标记依存关系,UnSent为非联通句子数.有关特征参数和依存句法分析精度的关系可参见文献、.这一结果远远低于使用MaltParser处理其它语言时得到的分值.造成这种局面的主要原因有:树库的规模太小,这毫无疑问会带来数据稀疏问题;树库中还存在一些不一致的问题;训练集和测试集的平均句子长度较大,前者为28,后者为22;使用24个标记的词性标记集,53个关系的依存关系集.依存关系数量明显有些多. 图2反映的是词类寻找其支配词的精度情况.后文中所涉及的词类、依存标记等具体意义可参见文献. 图2所示为无标记依存标记的情况,虽然有标记的情况更差,但变化趋势不大.我们将分值分为3个区域,低于0.7的为严重区,0.7～0.8为一般区,0.8以上为可接受区.在严重区,重点要解决的是动词的问题,虽然连词的情况要更差,但它的数量少,对系统的影响要小于动词.这一区域还有介词、量词、的字结构等.我们认为这些处于严重区内中的词类,分值之所以这么低的原因,主要是它们可担当的句法功能太多.用刘海涛、冯志伟所提出的概率配价模式来解释,就是词类的离心力太大,或受别的词支配的能力太强.对它们进行子类划分,消解这种过强的能力,可能是改善精度的一种途径,但对于小树库来说,增加词的子类又会使数据稀疏问题更加突出. 处于一般区域的词类,除形容词外,几乎都是名词,这一方面说明名词可充当的句法功能较之严重区要单一一些外,可能也说明对于名词进行细分的句法意义并不是很大. 在可接受区中,除代词的分值刚刚达到0.8外,其余词类的精确度均高于0.92,能达到如此高的分值的主要原因,是它们可担当的句法功能非常单一.其中出现次数较多的是副词和数词,满分的“地”因为现次太少,不足为虑,助词能达到满分的原因是在测试集中出现的基本上都是时态助词“了”,离支配词近,加上功能单一,没有不得高分的理由. 图3是按照