利用特徵意見配對資訊之日語詞義消歧以旅遊意見詞翻譯為例.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * 学生：郭瑛媚 指导教师：史晓东 教授 Unsupervised Opinion Word Disambiguation Based on Topic Distribution Similarity 大纲 整体框架 特征选择 结论 * 背景介绍——需求 网络是人们获取信息的重要平台，但获取非母语信息时需要翻译或消歧 在评论句中，评论词包含了句子的重要信息，其正确理解至关重要 而现有机器翻译系统在整句翻译时对多义词处理效果不佳。 * 背景介绍——动机 内装は綺麗で、朝食もとても美味しかったです。 室内装潢很漂亮,早餐也非常好吃。 漂亮？乾淨？清楚？ 利用很少的资源：在线词典和web搜索引擎，采用无监督的方式获取评论词词义 一个词的词义在很大程度上被上下文中的词所决定，并且每个词的影响程度不同 * 整体框架——流程 * Input 分词、去停用词词 构建评论词义集、上下文词义集 评论词词义选择 构建相似度计算语料 Output 在线词典 Google 语料获取 お部屋もバスルームも綺麗に掃除がされてあり、満足でした。 部屋 / バスルーム / 掃除 / 満足 房间,屋子/浴室/打扫,扫除/满意 Google Snippet (“漂亮” “房间”), (“干净” “房间”), (“清楚” “房间”)… * 漂亮？干净？清楚？ 周边相关词撷取 ((词性过滤) 周边相关词翻译 (Excite日中辞典) 翻译语料抓取 (Google Snippet) 语料获取 Google Snippet Query：(“漂亮”AND“房间”), (“干净”AND“房间”) 抓取前200篇,标点符号切割成tokens 计算候选词义与周边相关字在语料中出现情形 * 特征选择 改进的互信息 添加了依存信息的词的位置关系 话题信息 * 特征选择——互信息 词的关联强度计算 (“漂亮”AND“房间”), (“干净”AND“房间”) Mutual Information : 候选词义与相关词在语料中同时出现的机率 ：候选词义在语料中出现的机率 ：相关词在语料中出现的机率 * 特征选择——互信息 周边词关联强度修正 由于翻译语料中，部分候选词义与周边相关字的共现程度很低,甚至无共现(?25%),而难以计算其值。 当 时， 。 另外公式中其余各项均为正值当互信息为负值时,会出现问题。 修正后的公式 * 特征选择——位置信息 词与词间的相互影响程度随着距离的增大指数下降。 距离相同的词，由于词间关系的不同，彼此影响程度不同，添加依存信息。 * 価格について質問てす。 关于价格，有个问题。 特征选择——位置信息 * sentence chunk0 link=1 chunk1 link=-1 tok0 tok1 tok2 tok3 tok4 価格 head 価格について質問てす。 关于价格，有个问题。 について func 質問head てす func 。 特征选择——位置信息 词与词间的相互影响程度随着距离的增大指数下降。 添加依存信息建立相对距离函数 * 关系 在同一chunk中link=1 在同一chunk中link=-1 在不同chunk中 k 1 1.5 2 特征选择——话题信息 通过LDA模型得到条件概率向量 ，使用KL散度来计算 与 之间的差异程度 构造话题关系特征函数 * 消歧过程 评论词的每个翻译项分数计算 表示一个邻居选择其自身的某个词义的可能性有多大，其值为邻居翻译项个数分之一 某个neighbor用在线词典可以得到A、B、C三个词义，那么 定义 这一项的主要作用是为了避免词义较多的上下文中的词对结果产生更大的影响 比较每个翻译项的分数，选取最大的一个作为意见词的最后翻译 * 消歧过程 * so (綺麗) t0,1 漂亮 t0,2 干净 t0,3 清晰 si,1 (部屋) t1,1 房間 t1,2 屋子 si,2 (バスルーム) t2,1 浴室 si,3 (掃除) t3,1 打扫 t3,2 扫除 0.8 0.75 0.53 0.22 0.25 wx(si,1, so)?(0.8+0.75)?1/2 + wx(si,2, so)?0.53 + wx(si,3, so)?(0.22+0.25)?1/2 1.54 消歧过程 19 so (綺麗) t0,1 漂亮