网站大量收购闲置独家精品文档,联系QQ:2885784924

中文分词研究现状.ppt

  1. 1、本文档共54页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

Bakeoff2007–香港城市大学在Bakeoff2006数据上的实验,展示了CRF模型计算的开销:赵海的博客CRF的计算负载一般要比ME高一个数量级——赵海Bakeoff2007–MSRANEUBasicCRFTagger标注集:沿用MSRA在Bakeoff2006的6词位标注特征模板集:在MSRABakeoff2006的基础上增加了WordFlagWordBasedSegmenter对每句,用三元语言模型切词,选择概率最大的3种方式。对某个字,如果基于字的标注的概率小于某个阈值,则使用基于词的标注,用以提高已登录词的召回率。但是,如果该字基于词的标注是“独立成词”,那么使用基于字的标注。这种做法的原因是:基于词的标注常常将未登录词切分为单字。Post-processingRule处理一种特定情况:一个未登录词常常被分为多个词。处理当前句子时,缓存前20个句子,如果存在2-7个字组成的字符串重复出现,次数超过阈值,且这个字符串没有在训练数据中出现过,那么这个字符串加入候选词。Bakeoff2007–法国电信北京研发中心ProblemsofNERwithonlylocalinformation“Manyempiricalapproaches…makedecisiononlyonlocalcontextforextractinference,whichisbasedonthedataindependentassumption.Butoftenthisassumptiondoesnotholdbecausenon-localdependenciesareprevalentinnaturallanguage.”ObservationfromExperiments:Therearemanyseennamedentitiesaremissed;Atleast10%ofunseenandmissednamedentitieshavebeenlabeledoutcorrectlyforatleastonce.“Ifthecontextsurroundingoneoccurrenceofatokensequenceisveryindicativeofitbeinganentity,thenthisshouldalsoinfluencethelabelingofanotheroccurrenceofthesametokensequenceinadifferentcontextthatisnotindicativeofentity”.Bakeoff2007–法国电信北京研发中心Bakeoff2007–法国电信北京研发中心LocalFeaturesUnigram:Cn(n=-2,-1,0,1,2)Bigram:CnCn+1(n=-2,-1,0,1)andC-1C10/1FeaturesAssign1toallthecharacterswhicharelabeledasentityand0toallthecharacterswhicharelabeledasNONEintrainingdata.Insuchway,theclassdistributioncanbealleviatedgreatly,takingBakeoff2006MSRANERtrainingdataforexample,ifwelabelthecorpuswith10classes,theclassdistributionis: 0.81(B-PER),1.70(B-LOC),0.95(BORG),0.81(I-PER),0.88(I-LOC),2.87(I-ORG),0.76(EPER),1.42(E-LOC),0.94(E-ORG),88.86(NONE)ifwechangethelabelschemeto2labels(0/1),theclassdistributionis: 11.14(entity),88.86(NONE)Bakeoff2007–法国电信北京研发中心Non-localFeaturesToken-positionfeatures(NF1)These

文档评论(0)

shaoye348 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档