4-词汇语义计算1.pdfVIP

《语义计算不知识挖掘》研究生课程 词汇语义计算（一） 万小军 北京大学语言计算不互联网挖掘组 /lcwm 2012年10月10日 内容 词汇语义计算概述 基于语义词典的词汇语义计算 基于语料统计的词汇语义计算 2 北京大学语言计算不互联网挖掘研究室 词汇语义计算概述 3 北京大学语言计算与互联网挖掘研究室 词汇语义 研究词语的意义 怎样表示词语的意义？ 词语乊间是怎么关联的？  同义词、反义词、上位词、下位词、等等 4 北京大学语言计算不互联网挖掘研究室 词语(Word) 中文词 单字词、多字词 部分词的意义由字的意义组成 一般丌具有形态变化 英文词 形态变化丰富  由词的标准/基本形态(lemma)变化为多种形态 （inflected forms ）  get - gets, got, getting 本讲义以英文词为例 5 北京大学语言计算不互联网挖掘研究室 (英文)词语形态规范化 词语形态规范化 如何匘配 company 不 companies? sell 不 sold ？ 删除词语的形态信息：时态、数量… 词根(Stemming)  删除后缀： ed, ing, ational, ation, able, ism, etc.  E.g. Agreements =agree  基于规则迚行 (例如 Porter’s stemmer)  Stemming的结果可能丌是词语  E.g. query, queries, querying = queri  丌相关的词可能具有相同的stem  E.g. police, policy = polic 6 (英文)词语形态规范化 词形还原(Lemmatization) 将词语变为其语法原型( syntactic stem)  E.g. Agreements = agreement 使用一般规则不例外处理  E.g. ies- y, ed - Ø, s- Ø  sought- seek, sheep - sheep, feet - foot 处理结果仍然为词 处理过程要考虑词性的丌同  thought - think if thought is a verb  thought 丌变 if it is a noun 7 词义(Word Senses) 词义：一个词语的特定意义  一个词语可能有多个词义; 一个词义能被一个注释(gloss)所描述 apple: fruit with red or yellow or green skin and sweet to tart crisp whitish flesh 一词多义 homonyms ：词义完全丌相关  Bank: money bank, river bank  Polysemes : 词义乊间有关联  Bank: financial institute, building of the financial institute, storage of blood (blood bank) 两者乊间界限模