基于深度学习的依存句法分析进展.PDFVIP

基于深度学习的依存句法分析进展 车万翔 哈尔滨工业大学 1. 引言 句法分析旨在将句子从词语的序列形式按照某种语法体系转化为图结构 （通常为 树结构），以刻画句子内部的句法关系（主谓宾等），是自然语言处理的核心问题之 一。依存语法是众多语法体系中的一种，它使用依存弧连接句子中两个具有一定句法 关系的词语，最终形成一颗句法依存树。依存语法以其形式简洁、易于标注、便于应 用等优点，受到越来越多研究人员的重视，已成为句法分析研究的主流，有效支撑了 信息抽取、情感分析、机器翻译等多个研究任务。 例如，对于字面上非常相似的两个句子 “您转的这篇文章很无知”和 “您转这篇 文章很无知”，虽然它们仅相差了一个“的”字，但是它们的含义完全不同，这主要 是由于这两句话的主语不同造成的。图1 分别给出了这两个句子的依存句法分析结果 1 ，我们可以看到第一句话的主语（SBV 关系）是“文章”，而第二句话的主语是 “转”的动作。可见，若不使用依存句法分析工具，很难判断这两句话的情感对象， 即什么是“无知”的。 图1：依存句法分析对比示例 主流依存句法分析方法分为基于图 （Graph-based）和基于转移 （Transition- based）两类：基于图的方法将依存句法分析看成从完全有向图中寻找最大生成树的问 题，图中的边表示两个词之间存在某种句法关系的可能性；基于转移的方法通过一系 列移进、规约等转移动作构建一棵依存句法树，学习的目标是寻找最优动作序列。与 1 该结果通过“语言云（/ ）”分析获得，具体依存句法关系 解释见该网站。 基于图的方法相比，基于转移的方法算法复杂度更低，因此具有更高的分析效率，同 时由于能采用更丰富的特征，其分析准确率也与基于图的方法相当，因此受到了越来 越多学者的关注，尤其是近年来很多深度学习技术都试图应用于基于转移的方法，因 此本文也将重点介绍该类方法。 所谓深度学习技术，一般是指建立在含有多层非线性变换的神经网络结构之上， 对数据的表示进行抽象和学习的一系列机器学习算法。该方法已对语音识别､图像处理 等领域的进步起到了极大的推动作用，同时也引起了自然语言处理领域学者的广泛关 注，已成功地应用于机器翻译、阅读理解、问答系统等任务，并已然成为新的自然语 言处理标准方法。那么，近年来依存句法分析，尤其是基于转移的依存句法分析究竟 是如何利用深度学习技术的呢？这些方法对其它研究领域是否也有借鉴意义呢？未来 的研究方向会在哪里呢？本文试图就这些问题加以详细的阐述。 2. 基于转移的依存句法分析方法 基于转移的依存句法分析法使用一系列由初始到终止的状态（State 或 2 Configuration ）表示句法分析的过程 ，一个状态由栈（Stack ）、缓存（Buffer）以及 部分已分析好的依存弧构成，其中栈用于存储已经过分析的词，缓存表示待分析的 词。 初始状态下，栈中仅含有一个根节点（Root），缓存中存储句子中全部的词。一 个状态经过一个转移动作（Action ）变为一个新的状态，转移动作共有移进（Shift ）、 左归约（Left-Reduce）、右归约（Right-Reduce ）三种。其中移进动作将缓存中第一个 词压入栈中；左规约在栈顶的两个词之间产生一条左指向依存弧，同时将栈顶第二个 词下栈；右规约在栈顶的两个词之间产生一条右指向依存弧，同时将栈顶词下栈。 可证明，经过一系列转移动作，最终能够达到终止状态，即栈中仅含有一个根节 点，缓存为空，此时恰好构成一颗完整的依存树，并完成对一个句子的依存句法分析 过程。 基于转移的依存句法分析目的就是要学习一个分类器，其输入为一个状态，输出 为该状态下最可能的动作，这又被称为贪心解码算法，后面我们会介绍其它非贪心的 解码算法。 传统的方法通过抽取一系列人工定义的特征来表示状态，即分类的依据，如栈顶 的词、词性，缓存中的第一个词、词性，已生成部分依存树的最左或最右词，这些又 被称为核心特征。为了提高分类的精度，还需要人工定义各种组合特征。如Zhang and Nivre (2011) 曾给出了一套准优化的特征及特征组合模板，共有20 种核心特征，72 种 组合特征。 抽取出特征后，传