基于转换的错误学习方法在中文分词后处理中的应用.pdfVIP

基于转换的错误学习方法在中文分词后处理中的应用 何楠1毛新年2董远1，2王海拉2 1北京邮电大学信息工程学院北京100876 2北京法国电信研发中心有限公司 北京 100876 两种初始分词器，在SIGHAN2006 套模板。结果表明在复合模板中包含基于字的二元模板比不包含的效果好，丽一元二元复合模板效果最好且 2006MsRA开放测试上的名次由第六 在初始精度很高的情况下仍带来明显性能提升，使瑚Ⅷ垤在sIGHAN 位上升到第；笙位。同时在上述九套模板上进行了基于规则数目和规则得分的裁剪实验，结果表明平均使用 9．45％的规则就能达到85．947％的性能提升。 关键词：基于转换的错误学习；中文分词后处理；规则模板；规则裁剪 TransformatiOn-basedErrOr—drjVen as Learning forChineseWOrd POSt—prOcessor HeNanlMaoⅪnnian2Yuanl72 Haila2 Dong Wang 1scboolof of 100876 Postsand InfomatioⅡEnginee五n舀BeijiⅡguniversity 2France1blecomR＆D 100876 Be巧ingCo，．Ltd，Be巧iⅡg Abstract：’rraIlsf0珊alion_based becn e如cdVeforchjneseword eⅡ町一d由％leam咄汀BL)hasproved its oDdifferentrLIle andinit湖word segmentatio“post—pro∞ssing．Tbstudyimpact templates ninecharacieI-based nne their exPlored templatcs，面cluding uni掣am，bi-gram，trigr锄曲d initialword maxiIllum hiddeDmarkov Segmentefs，fonⅣardmatch(F帅旧segmenter勰d res吐s the festllt be Expe血neⅡtaleValuatedon SIGHAN2006MSRAaⅡd indicate也atbe恤r would UPUC∞II)0ra achieved is combina廿onisthc wheⅡbi—gmmtemplate best，which included；1lll堙珥m柚dbi—gram template p咖otes m删reslllt’s