人工智能中的语义分析技术及其应用.pdfVIP

人工智能中的语义分析技术及其应用

一、人工智能语义分析技术

语义分析（SemanticAnalysis）是人工智能

（ArtificialIntelligence）的一个分支是自然语言处理技术的

几个核心任务涉及语言学、计算语言学、机器学习以及认知语言

等多个学科语义分析任务有助于促进其他自然语言处理任务的快

速发展。人工智能中的语义分析技术特别是深度学习

（DeepLearning）技术近年来发展迅猛已经在围棋对弈、自动驾

驶、图像识别、语音识别等多个领域取得了突破性进展。

语义分析指运用各种方法学习与理解一段文本所表示的语义

内容任何对语言的理解都可以归为语义分析的范畴。一段文本通

常由词、句子和段落来构成根据理解对象的语言单位不同语义分

析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章

级语义分析。一般来说词汇级语义分析关注的是如何获取或区别

单词的语义句子级语义分析则试图分析整个句子所表达的语义而

篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元

（可以是句子从句或段落）间的语义关系。简单地讲语义分析的

目标就是通过建立有效的模型和系统实现在各个语言单位（包括

词汇、句子和篇章等）的自动语义分析从而实现理解整个文本表

达的真实语义。

二、语义分析技术

第1页共13页

(一）基础技术（按照词语分析、句子分析、篇章分析来写）

分别从词汇级、句子级和篇章级三个层次描述语义分析相关

技术。

1.词语级语义分析

词汇层面上的语义分析主要体现在如何理解某个词汇的含义

主要包含两个方面：词义消歧和词义表示

(1）词义消歧

词汇的歧义性是自然语言的固有特征。词义消歧根据一个多

义词在文本中出现的上下文环境来确定其词义作为各项自然语言

处理的基础步骤和必经阶段被提出来。词义消歧包含两个必要的

步骤：（a）在词典中描述词语的意义；（b）在语料中进行词义

自动消歧。例如“苹果”在词典中描述有两个不同的意义：一种

常见的水果；美国一家科技公司。对于下面两个句子：

她的脸红得像苹果。

最近几个月苹果营收出现下滑。

词义消歧的任务是自动将第一个苹果归为“水果”而将第二

个苹果归为“公司”。从上面的例子中我们发现词义消歧主要面

临如下两个关键问题：（a）词典的构建；（b）上下文的建模。

(2）词义表示和学习

对于词义表示早期的做法将某个词义表示为从该词义在同义

词网络中出现的位置到该网络根节点之间的路径信息。词义表示

的另一个思路是将其数字化。最直观也是到目前为止最常用的词

第2页共13页

表示方法是one-hot表示方法这种方法把每个词表示为一个很长

的向量。这个向量的维度是词表大小其中绝大多数元素为0只有

一个维度的值为1这个维度就代表了当前的词。不难想象这种表

示方法存在一个重要的问题：任意两个词之间都是孤立的。造成

的结果是：光从两个向量中看不出两个词是否有关系即使这两个

词是同义词例如“计算机”和“电脑”、“上海”和“上海

市”。

随着机器学习算法的发展目前更流行的词义表示方式是词嵌

入（WordEmbedding又称词向量）。其基本想法是：通过训练将某

种语言中的每一个词映射成一个固定维数的向量将所有这些向量

放在一起形成一个词向量空间而每一向量则可视为该空间中的一

个点在这个空间上引入“距离”则可以根据词之间的距离来判断

它们之间的（词法、语义上的）相似性。

2.句子级语义分析

句子级的语义分析试图根据句子的句法结构和句中词的词义

等信息推导出能够反映这个句子意义的某种形式化表示。根据句

子级语义分析的深浅又可以进一步划分为浅层语义分析和深层语

义分析。

(1）浅层语义分析

语义角色标注（SemanticRoleLabeling简称SRL）是一种浅

层的语义分析。给定一个句子SRL的任务是找出句子中谓词的相

第3页共13页

应语义角色成分包括核心语义角色（如施事者、受事者等）和附

属语义