词义消歧任务及其应用概述.pdfVIP

WordSenseDisambiguation(WSD)

•Given

•上下文中的一个词

•一组固定的可能词义

•判断这个词在此处的具体含义

•为什么？机器翻译、问答系统、语音合成

•哪些词义？

•英译西：一组西班牙语翻译

•语音合成：像bass和bow这样的同形异义词

•一般来说：像WordNet这样的词典中的词义

WordSenseDisambiguation(WSD)

•Given

•Awordincontext

•Afixedinventoryofpotentialwordsenses

•Decidewhichsenseofthewordthisis

•Why?Machinetranslation,QA,speechsynthesis

•Whatsetofsenses?

•English-­­to--­SpanishMT:setofSpanishtranslations

•SpeechSynthesis:homographslikebassandbow

•Ingeneral:thesensesinathesauruslikeWordNet

WSD任务的两种变体

•词汇样本任务

•小型预选目标词集合（line,nt）

•并且每个词都有对应的意义

•监督式机器学习：为每个词训练一个分类器

•全词任务

•整篇文本中的每个词

•一个包含每个词义项的词典

•数据稀疏：无法训练特定词的分类器

TwovariantsofWSDtask

•LexicalSampletask

•Smallpre--­selectedsetoftargetwords(line,nt)

•Andinventoryofsensesforeachword

•Supervisedmachinelearning:trainaclassifierforeachword

•All--­wordstask

•Everywordinanentiretext

•Alexiconwithsensesforeachword

•Datasparseness:can’ttrainword--­specificclassifiers

WSD方法

•监督机器学习

•词典／字典方法

•半监督学习

4

WSDMethods

•SupervisedMachineLearning

•Thesaurus/DictionaryMethods

•Semi--­SupervisedLearning

4

词义消歧

监督机器学习

WordSense

Disambiguation

Supervised

MachineLearning

监督机器学习方法

•监督机器学习方法：

•a训练语料库在上下文中带有词义标注的

用于训练一个分类器，该分类器可以为新文本中的