中文分词和词性标注联合模型综述.pdfVIP

第4卷 第 3期 智 能 计 算 机 与 应 用 V01．4No．3 2014年6月 INTELLIGENT COMPUTER AND APPLICATIONS Jun．2014 中文分词和词性标注联合模型综述 赵芳芳 ，蒋志鹏 ，关 毅 (哈尔滨工业大学 计算机科学与技术学院，哈尔滨 150001) 摘 要：中文分词和词性标注任务作为中文 自然语言处理的初始步骤，已经得到广泛的研究。由于中文句子缺乏词边界，所以中 文词性标注往往采用管道模式完成：首先对句子进行分词，然后使用分词阶段的结果进行词性标注。然而管道模式中，分词阶段 的错误会传递到词性标注阶段，从而降低词性标注效果。近些年来，中文词性标注方面的研究集中在联合模型。联合模型同时完 成句子的分词和词性标注任务，不但可以改善错误传递的问题，并且可以通过使用词性标注信息提高分词精度。联合模型分为基 于字模型、基于词模型及混合模型。本文对联合模型的分类、训练算法及训练过程中的问题进行详细的阐述和讨论。 关键词 ：中文分词；中文词性标注；联合模型 中图分类号：TP391 文献标识码：A 文章编号：2095—2163(2014)03—0077—04 TheReview ontheJointModelofChineseWordSegmentation andPart—of—speechTagging ZHAO Fangfang，JIANG Zhipeng，GUANYi (SchoolofComputerScienceandTechnology，HarbinInstituteofTechnoloyg ，Harbin150001，China) Abstract：Chinesewordsegmentationandpart一0f—speech(POS)taggingtaskasaninitialstepforChinesenaturallan— guageprocessing，hasbeenwidelystudied．DuetothelackofChinesesentenceswordboundary，theChinesePOStagging taskisoftencompletedwiththepipelineapproach：firsdy，perform Chinesewordsegmentation，andthenusetheresultsof thepriorstagetotagtheChinesesentence．However，inthepipelineapproach，wordsegmentationphaseerrorswillbepas— sedtothePOStaggingstage，therebyreducingtheaccuracyofPOStagging．Inrecentyears，theresearchonChinesePOS taggingfocusedonthejointmode1．ThejointmodelperformbothwordsegmentationandPOStagginginacombinedsingle stepsimultaneously，throughwhichtheerrorpropagationcanbeavoidedandtheaccuracyofwordsegmentationcanbeim— provedbyutilizingPOSinformation．Therearechraacter—basedmethods，word—basedmethods，andhybridmethods．In thispaper，thethreekindsofjointmodel，thetrainingalgorithmandtheproblemsthroughtheprocessingwillbeint