《自然语言处理》09-语义分析.pptxVIP

自然语言处理第9章 语义分析目录语义的形式化表示词义消歧语义角色标注基于图表征的语义分析延伸阅读目录语义的形式化表示词义消歧语义角色标注基于图表征的语义分析延伸阅读导读语义分析任务：将语言所蕴含的意义进行精确的数据抽象进而进行有效的自动计算语义表示的粒度：词汇语义事件语义整句语义词汇语义词汇“放”的不同语义再将采来的嫩茶放太阳下晒把对自己孩子的关心与爱放在最高点这些浓缩铀现在掩埋在瓦砾中，没有放出任何辐射线词汇“放”与“摆”具有相同语义再将采来的嫩茶放太阳下晒再将采来的嫩茶摆太阳下晒获取语义的方法：查词典构建语义分析系统WordNetSemCorWordNet:本体知识库所有词按照词性划分为名词、动词、形容词、 副词4大类词根据其语义聚类为同义词集，每个词集表达 一个词汇概念同义词集通过概念语义和词汇关系进行关联概念关系：（以名词为例）上下位关系，IS-A，IS-A-KIND-OF部分整体关系：组件-对象，成员-集合， 材料-对象WordNet的应用：作为语义标注语料库的标注目标语义相似度计算语义消歧信息检索知识工程当然，中文上也有中文词汇网络Chinese WordNetSemCor:最具代表性的语义标注语料词的候选义项遵从WordNetSemCor包含两部分：SemCor-All: 包括186个文本，超过19万词例(word token)SemCor-Verbs: 只对动词进行语义标注，超4万个动词词形 (word type) 和31万个词例(word token)事件语义句子中的事件语义体现了整个句子的核心语义关注以动词为中心的事件语义，将周围的名词性成分抽象成论元，并对其分类。如动作发出者的施事（agent)，动作承受者的受事（patient)等，在自然语言处理领域，称为语义角色语义角色的标注资源：中文动词词汇语义网和汉语命题库（MVN和CPB）?MVN沿袭了Fillmore提出的‘‘框架主义’’思路，即将动词语义看作是一个包含元素（frame elements）和元素间关系的框架（frame），对元素的角色进行了标注。除此之外，中文动词词汇语义网也对句子中出现的结构标记（construction marker），如‘被’、‘把’、体标记等做了标注?中文动词词汇语义网（MVN）汉语命题库：动词框架词典语义角色标注语料库?动词框架词典?汉语命题库标记集详解整句语义The dog is eating a bone语义依存图抽象语义表示利用图来表征更为丰富的语义信息语义依存图抽象语义表示语义依存：词与词之间的二元关系概念语义：节点是抽象的概念，不再是具体的token目录语义的形式化表示词义消歧语义角色标注基于图表征的语义分析延伸阅读9.2 词义消歧任务目标：通过对文本中多义词的语言环境加以甄 别，明确具体词义词义消歧是一个中间任务，服务于大多数的自然 语言处理相关的技术词义消歧分为：单一词消歧和全文本消歧词典D序列w1, w2, . . . , wnsenseD(wi)?A(wi)词义消歧-难点如何对词义进行表示？某个词的词义总集是一个有限的集合吗？如何处理临时用的词义或者新义?词义区分的粒度如何?词义消歧严重依赖语言知识词义消歧-方法基于词向量的方法 见右图基于特征工程的方法?词汇特征：如wi 的上下文的uni-gram、 bi-gram， wi 的词性等等。句法特征：如wi 的句法中心词和依赖词等。 语义特征：如wi 前后词的词义等。目录语义的形式化表示词义消歧语义角色标注基于图表征的语义分析延伸阅读9.3 语义角色标注任务定义：给定一个句子，分析该句中特定动词的论元结构，找出和特定动词搭配的论元并分析出它们的语义角色给定谓词后，需要找到所搭配的论元，并对论元进行语义分类浅层语义分析的一个子任务BIO标注体系通过BIO标签将语义角色 标注问题转化为类似词性 标注的序列标注问题附属标签B表示一个论元 的开头I表示一个论元的中间O表示非论元语义角色标注-模型基于词的序列标注问题很容易通过深度学习技术进行求解对比分析语义角色标注语义依存分析句法依存分析是否整句否是是关系\谓词-论元中心词-依赖词树/图\树（不一定连通）连通树基于短语/词短语词词目录语义的形式化表示词义消歧语义角色标注基于图表征的语义分析延伸阅读9.4 基于图表征的语义分析基于因子分解（factorization-based) 的方法基于组合（composition-based）的方法基于状态转移（transition-based) 的方法基于翻译（translation-based）的方法9.4 基于图表征的语义分析-因子分解借鉴了基于图的句法依存分析方法，核心是定义一个有效的打分函数基于因子的分析模型遍历所有的可行语义图，对其打分，输出得分最高的语义图以语