卷积神经网络在关系抽取中的应用研究.pdf

＼＼＼ 文章编号：1007—1423(2017)09—0058—03 DOI：10．3969~．issn．1007—1423．2017．09．015 卷积神经网络在关系抽取中的应用研究 罗少伟 (四川I大学计算机学院，成都 610065) 摘要 ： 自2006年Hinton提出新的神经网络学习算法以来，卷积神经网络 (CNN)在 图像识别、语音识别等领域取得巨大成 功，引发一股深度学习热潮 。伴随着基于海量文本的词向量表示技术的进步。卷积神经网络逐渐在 自然语言处理领域 取得超越传统机器学习算法的识别效果。综述 CNN在关系抽取领域的最新研究成果，介绍其发展历程、基本框架，并 对 CNN在该领域的发展方向进行总结和展望 关键词 ： 卷积神经 网络 ；词 向量 ：关系抽取 1 卷积神经网络模型 图：全连接层将所有池化特征展开并连接 ，作为下层输 入 ；分类层利用池化后的特征进行分类 ，一般采用 Soft— 卷积神经网络是一种重要的前馈神经网络模型． max概率化或打分等方法。 它通过卷积操作提取输入的更高维度特征．在 图像识 别和语音识别领域都取得巨大成功 理解卷积神经网 ’l唧‘ ～ 啪 一 络的关键在于局部感知、权值共享和池化三个概念：局 Int}．Btrmmit,~ meolPres~ ／oltraveledtoe2~,,Detroit／e2 部感知受启发于生物学里面 的视觉系统结构 ．视觉皮 层的神经元就是局部接受信息的．我们只需要对局部 进行感知 ．然后在更高层将局部的信息综合起来就得 到了全局的信息 这种特征提取的过程类似 自下而上 的方法，一层层接收局部的输入．最后不断聚合 ：权值 共享通过局部相邻区域使用相 同权重的方法大幅减少 卷积神经网络参数数量．降低了模型复杂度：池化操作 通过对卷积结果的聚合统计 ．提取出最显著的影响因 Look．uptables Cce~ lutlonallayer Maxpooting Fullyconnectedlayer 素．降低了模型复杂度 ．同时提高了模型的泛化能力 withmuI呻-．w~ndow。髓 mdropo~and 从模型结构上说．一个最简单的卷积神经网络应 forUitens so~ mxouf~ t 包括四个部分：卷积层 、池化层 、全连接层、分类层 。卷 图 I关系抽取卷积神经 网络基本结构 (文献 6【】) 积层包括多个卷积核 ．每个卷积核与输入进行矩阵卷 积 ．得到一个新 的特征 图．特征图的尺寸与输入特征 图 2 基于大规模语料的词 向量表示 尺寸、卷积核的大小和卷积滑动窗 口大小都有关系；池 词是承载语义的最基本单元．卷积神经网络应用 化层将卷积后 的特征 图划分为数个不相交的区域 ．然 于 自然语言处理任务 的第一个障碍就在于如何表示 后对每个区域取最大值或平均值作为池化后的新特征 词。Harris在 1954年提出词的分布假说 ：上下文相似的 @ 现代计算机 2017．03下 词 ．其语义也相似 ．这是 目前主流词 向量表示方法 的理 自动提取特征．