融合形态特征的最大熵蒙古文词性标注模型.pdfVIP

融合形态特征的最大熵蒙古文词性标注模型 张贯虹1 斯 ·劳格劳2 乌达巴拉3 1合肥学院计算机科学与技术系网络与智能信息处理重点实验室 合肥230601 2内蒙古大学蒙古学学院 呼和浩特010021 3中国科学院合肥物质科学研究院 合肥 230001 FusionofMorphologicalFeaturesforMongolianPartofSpeechBasedon MaximumEntropyModel ZhangGuanhong S.Loglo Odbal 最大熵模型以其能够较好地包容各种约束信息及与自然语言模型相适应等优点在词性标注研 究中取得了良好的效果.因此，将其作为基本框架，提出了一种融合语言特征的最大熵蒙古文词性标注 模型.首先，根据蒙古文构词特点及统计分析结果，定义并选取特征模板，利用训练语料提取了大量的候 选特征集合，针对错误或者无效的特征通过设置一些规则筛选特征.然后，训练最大熵概率模型参数.实 验结果表明，融合蒙古文形态特征的最大熵模型可以较好地标注蒙古文. 2010-01-11 2010-11-09 国家自然科学基金项目；教育部人文社会科学研究基金项目(09YZC740045) 形态特征；最大熵模型；蒙古文；词性标注；参数估计 TP391 根据2.1 时无需， @@[1] Bril1E. Asimplerule-basedpartofspeechtagger[C]// HLT91:ProcoftheWorkshoponSpeechandNatural Language.Morristown,NJ:ACL,1992:112-116 @@[2] BrillE. Transformationbasederrordrivenlearningand naturallanguageprocessing:Acasestudyinpartofspeech tagging[J].ComputationalLinguistics,1995,21(4):543- 565 @@[3] BlackE,JelinekF,LaffertyJ,etal.Decisiontreemodels appliedtothelabelingoftextwithparts-of-speech[C]// HLT91:ProcoftheWorkshoponSpeechandNatural Language.Morristown,NJ:ACL,1992:117-121 @@[4] BrantsT.TnT:Astatisticalpartofspeechtagger[C]// Proc of the 6th Conf on Applied Natural Language Processing.Morristown,NJ:ACL,2000:224-231 @@[5] LeeSZ,TsujiiJI,RimHC.LexiealizedhiddenMarkov ofArabic[C]//ProcoftheACLWorkshoponComputational modelsforpart-of-speeehtagging[C]//Procofthe18thConf ApproachestoSemiticLanguages.Morristown,NJ:ACL, on Computational Linguistics. Morristown, NJ: ACL, 2005:1-8 2000:481-487 @@[13] Fadaci H, Shamsfard M. Persian POStaggingusing @@ [6] Bar-haimR,SimaanK,WinterY.Partofspeechtaggingot probabilistic morphological analysis [J]. International modernHebrewtext[J].NaturalLa