非规范化文本处理.pptxVIP

非规范化文本处理张奇复旦大学非规范文本处理非规范文本现象频繁出现向大妈学广场舞，跟土豪做朋友，已经成为全世界小伙伴的新潮流。李教授非常professional，我们很fan他。中国石油天然气有限公司?中石油。累觉不爱我们的工作利用动态特征对中英文混合文本进行联合分词和词性标注 (EMNLP 2012)利用一阶谓词模型识别命名实体简称 (IJCNLP 2013)中英语混合文本规范化 (WSDM 2014)中英文混合文本词性标注英文单词或者字母经常出现在中文文本中作为产品名、机构名、术语、缩略语、简称等，如“eBay”、“iPhone”、“GDP”、“Android”出现在日常的对话沟通中，包括电子邮件和即时通讯软件新浪微博抽样统计说明，14.8%微博含有至少一个英文单词例子提着行李在time square (NN) 的星巴克蹭网。于是整个场面被我hold (VV)住了。你微博忘记At (VV)他了。中英文混合文本词性标注难点如何确定词性标记集？英文还是中文？OOV如何处理？英文单词词性可以转换：我们出去Happy一下。基于动态特征的序列标注方法静态特征词性标注 ? 序列标注问题{B, I, E, S}{B-NN, I-NN, E-NN, S-NN, ...}. 动态特征使用词级别的特征，以帮助提高中文词性标注的准确率结合字符级别的特征和在解码阶段动态产生的动态的词级别特征，如词的内容、长度、词性等动态特征可在纯中文语料上训练!如果当前字是 “ Apple”, 则：POS?1=CCPOS?2=NRWORD?1=“和”LEN?2=2实验模型：序列标注模型标注算法：Viterbi训练算法：在线PA标记集：{B, I, E, S}识别命名实体简称命名实体简称示例北京大学 北大中国石油天然气集团公司 中石油中国国际航空公司 国航简称在文本中的比例新闻文本：20%的句子含有简称UGC：更多现有方法基于数据的方法：需要大量（平行）语料基于序列标注的方法：难以对长距离依赖关系建模利用一阶谓词模型识别实体简称Two constants: Anna (A) and Bob (B)Weight of formula iNo. of true groundings of formula i in xFriends(A,B)Friends(A,A)Smokes(A)Smokes(B)Friends(B,B)Cancer(A)Cancer(B)Friends(B,A)将简称的生成建模为字的删除和保留操作将语言特征和操作间关系用逻辑公式表示用MLN进行参数学习和预测构建一阶谓词公式局部特征词汇特征：字或词的上下文，如character(i,c+) ^ entityType(t+) ? drop(i)character(i,c+) ^ word(j,w+) ^ cwMap(i,j) ^ lastWord(j) ? drop(i)距离和位置特征，说明实体的哪个部分可以省略character(i,c) ^ lenWord(wn+) ^ cwPosition(i,wp+) ? drop(i)后缀特征，说明简称中可以没有后缀character(i,c+) ^ cwMap(i,j) ^ word(j-1,w+) ^ (sufSchool(j) or sufOrg(j) or sufGov(j)) ? drop(i)全局特征：表示可以同时删去若干个字character(i, c1) ^ cwMap(i, j) ^ drop(i) ^ character(i + 1, c2) ^ cwMap(i + 1, j) ? drop(i + 1)实验训练和测试数据利用正则表达式从百度百科抓取利用搜索引擎抓取输入 “复旦大学 简称”含有5万多简称/实体对工具中文分词：FudanNLPMLN：thebeast中英文混合文本规范化微博中英语单词分类统计采用分而治之策略加以处理In-vocabulary English words：翻译成中文Out-of-vocabulary English words ：分类，如人名，机构名……词语翻译翻译模型：从训练数据中计算：GIZA++语言模型：神经语言模型未登录词分类假设1： 属于相同类别的词语有相近的上下文假设2: 词语及其属性描述倾向于共现采用Label propagation算法进行迭代实验结果测试数据1000条微博1200个英文词语词语翻译未登录词分类CIKM 2014Abstract Submission June 4, 2014 Paper Submission June 11, 2014 Acceptance Notification August 8, 2014会议地点：上海富豪环球东亚大酒店，中国上海市衡山路516号CIKM