基于条件随机域的词性标注模型.pdf

基于条件随机域的词性标注模型 姜 维 关 毅 王晓龙 哈尔滨工业大学计算机科学与技术学院 哈尔滨 ( , ) 150001 : E-mailjiangwei@ 摘 要 词性标注主要面临兼类词消歧以及未知词标注的难题 传统隐马尔科夫方法不易融合新特征 而最大熵马尔科 , , 夫模型存在标注偏置等问题 论文引入条件随机域建立词性标注模型 易于融合新的特征 并能解决标注偏置的问题 此 。 , , 。 外 又引入长距离特征有效地标注复杂兼类词 以及应用后缀词与命名实体识别等方法提高未知词的标注精度 在条件 , , 。 随机域模型框架下 进一步探讨了融合模型的方法及性能 词性标注开放实验表明 条件随机域模型获得了 的标 , 。 , 96.10% 注精度。 关键词 词性标注 条件随机域 触发对 文章编号 ( ) 文献标识码 中图分类号 1002-8331-200621-0013-04 A TP311 ConditionalRandom FieldsBasedPOSTagging JiangWeiGuanYiWangXiaolong ( , , ) SchoolofComputerScienceandTechnologyHarbinInstituteofTechnologyHarbin150001 : Abstract ThemaindifficultiesinPOStaggingaremulti-classworddisambiguationandunknownwordtagging. , , HowevermorefeaturescannotbeaddedintoHiddenMarkovModelandthereislabelbiasproblem inMaximum ( ) , EntropyMarkovModel.SoConditionalRandomFieldCRF isintroducedtobuildPOStaggingmodelinthispaperin , ordertoovercomeaboveproblems.Inadditionlongdistancefeaturesareextractedandutilizedtolabelcomplicated , multi-classword.Asfortheunknownwordtaggingnamedentitiesrecognitionandsuffix-basedmethodetc.are