汉、蒙、藏、维分词与词性标注技术发展现状研究.docxVIP

汉、蒙、藏、维分词与词性标注技术发展现状研究通拉嘎④中央民族大学少数民族语言文学学院北京100081泉州师范学院福建362000国家语言资源监测与研究中心少数民族语言分中心北京100081E-mail：bolor@163．com 摘要：中文信息处理用各种统计方法实现精度的提高，而规则的运用更多是在歧义和未登录词的研究上。蒙古语的统计方法发轫于近几年，但更多的是一种理念的进步，仍是以词干加附加成分的规则方法为主，现有AYIMAG和DARHAN切分和词性标注系统。藏文较多运用规则加统计的方法，也有直接运用viterbi算法进行分词的成果，其基于规则的方法是用格助词和词典库进行分词；现有北大计算语言学研究所和国家语言资源监测与研究中心少 数民族语言分中心的藏文自动分词系统，不过还未见藏文词性标注系统的实现成果。维吾尔语自^基于隐马尔科夫模型的viterbi算法与基于n-gmm模型的尝试，其规则方法仍足词干加附加成分的切分理念，现还未见可用的切分与标注系统。关键词：分词、词性标注、发展现状ResearchonthedeveIopmentofChinese，Mongolian，Iibetan，Uighughursegmentatgmentat‘orl10rlandPOStagg‘ngtaggItechnotechnoI0longlagaDepartmentofMinorityLanguageandLiteratureMinzuUniversityofChinaBeijing100081QuanzhouNormalUniversityFujian362000NationalkmguageResourceMonitoringandResearchCenterminoritylanguagesBranchE-mail：bolor@163．comAbstract：Chineseinformationprocessingachieveditsimprovementofprecisionthroughvariousstatistical methods,andtheuseofrulesappliedmainlyintheresearchofambiguityand tlllknown words；Mongolianstatisticalmethodsbeganinthelastfewyears,itsapproachremainsthe“stemplusanadditionalcomponent’method,andtheexistingachievementsincludingAYIMAGandDARHANSegmentationandPartofSpeechTaggingSystem；Tibetanadoptedthe‘‘rulesplusstatistics’methods．itssegmentationalsousesVITERBIalgorithmdirectly,whoserule．basedmethodistouseauxiliarywordandthedictionarywordlibrary．ExistingachievementsincludeTibetanWordAutomaticSegmentationSystemfiomPekingUniversityInstituteofComputationalLinguisticsandNationalLanguageResourceMonitoringandResearchCenterminofi妙languagesBranch．However,110Tibetan speechtaggingsystemhasbeenachievedSOfacUighurmakesattemptstoutilizeVITERBIalgorithmbasedonHiddenMarkovModelandN-GRAMbasedmodel．Nevertheless,itssegmentationapproachremainsthe“stemplusall additionalcomponent’conceptandnoavailablesegmentationandlabelingsystemCanbeseensofar．Keywords：Segmentation；POStagging；DevelopmentStatus∞[作者简介]通拉嘎(1976一)，女(蒙古族)，内蒙古科尔沁右翼中旗人，中央民族大学少数民族语言文 学学院在读博士、泉』’}Ⅲ币范学院图书馆馆员，研究方向为计算语言学与应用语言学。本文获国家自然科学基金项目“基于动态语料库的汉语基本词汇特征曲线跟踪与n动提取研究”的资 助，项目号6066