统计模型中附加语言学规则的蒙古语词法分析.pdfVIP

计算机工程与设计 ComputerEngineeringandDesign 2011，Vo1．32，No．8 2861 统计模型中附加语言学规则的蒙古语词法分析 张聪 品 ， 赵理 莉 (1．河南师范大学计算机与信息技术学院，河南新 乡453007；2．中国科学院计算技术研究所，北京 100190) 摘 要：蒙古词法分析是蒙古语信息处理的基础性问题，是蒙古语信 息处理_T-作的第一步。通过对统计模型和蒙古语构词 规则进行深入研究，提 出了一种融合统计和规则技术的蒙古语词切分和词性标注的方法。该方法 以统计模型作为基本框 架，采用树形结构描述 系统的解空间，并加入 了蒙古语语言学规则和词干、词缀词典。实验结果表明，该系统分词和词性标 注的词级准确率为95．1％，词干 ／词缀级准确率为94．6％，较 已有蒙古语词法分析系统的准确率有所提高。 关键词：蒙古语信息处理；蒙古语词法分析；蒙古语分词；蒙古语词性标注；联合切分和词性标注 中图法分类号：TP391 文献标识码：A 文章编号：1000—7024(2011)08—2861—04 StatisticalmodeladdedlinguisticrulesforM ongolianlexicalanalysis ZHANG Cong．pin． ZHA0 Li—li， (1．CollegeofComputerandInformationTechnology,HenanNomralUniversity,Xinxiang453007，China； 2．InstituteofComputingTechnolog~ ChineseAcademyofSciences，Beijing100190，China) Abstract：MongolianlexicalanalysisisthefirststepinMongolianinformationprocessing．StatisticalmodelandMongolina language rulesareresearched，amethodofintegratingstatisticsandrulestechnologyispresentedwhichcna solvetheMongolianwordsegmenattion andPOStaggingatthesametime．Thismethodusesasattisticalmodelasthebasicrfameworktodescribethesystemwithtreestructure thesolutionspace，thenaddedtheMongolianlinguisticrulesandthestem， affixdictionary．Theresultsshow thatthesystem which jointwordsegmenattionwithPOSatggingcna reach95．1％inword—levelaccuracy,nad94．6％instem ／affix—levelaccuracy．Theex- perimentalresultshavebeenimprovedcomparedwithotherlexicalnaalysissystem． Keywords：Mongolianinfomr ationprocessing；M ongolina lexicalnaalysis；Mongolianwordsegmentation；Mongolianpartofspeech tagging；jointsegmenattionnadPOSatgging 之间无 明确 的结构关系和规律 。 0 引 言 本文结合蒙古语词语 的特点，在 中文分词的工作基础上 ， 蒙古词 法分析 是蒙古语信 息处理 的基础性 问题 ，蒙 古语 采用构建组合型统计语 言模型和数据规范的规则相结合的方 词法分析类似于中文信息处理的汉语词法分析问题 [1-3]7包含 法 ，进行蒙古语联合切分和标注 的研究和实验 。提